SpiderLing

SpiderLing蜘蛛/爬虫属于其他类型,由NLP – at the Faculty of Informatics, Masaryk University, Brno开发运行。您可以继续阅读下方信息,以深入了解SpiderLing基本信息,用户代理和访问控制等。

基本信息

SpiderLing的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
SpiderLing
类型
其他
开发商
NLP - at the Faculty of Informatics, Masaryk University, Brno
当前状态
活动

用户代理

关于SpiderLing蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
SpiderLing
用户代理字符串
Mozilla/5.0 (compatible; SpiderLing (a SPIDER for LINGustic research); http://nlp.fi.muni.cz/projects/biwec/)
首次出现
2011-12-09 21:48:00
最后出现
2013-12-20 23:26:22
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
77.240.183.232 toad5.sketchengine.eu CZ
77.240.183.231 hyla3.sketchengine.eu CZ
77.240.187.64 toad8.sketchengine.eu CZ
77.240.187.69 toad13.sketchengine.eu CZ
77.240.183.229 hyla1.sketchengine.eu CZ
77.240.183.226 toad2.sketchengine.co.uk CZ
77.240.183.225 toad1.sketchengine.co.uk CZ
77.240.187.67 toad11.sketchengine.eu CZ
77.240.183.199 toad7.sketchengine.eu CZ
147.251.51.19 asteria04.fi.muni.cz CZ
147.251.48.4 aura.fi.muni.cz CZ
77.240.187.68 toad12.sketchengine.eu CZ
77.240.183.227 toad3.sketchengine.co.uk CZ
77.240.183.233 toad6.sketchengine.eu CZ
用户代理字符串
Mozilla/5.0 (compatible; SpiderLing (a SPIDER for LINGustic research); http://nlp.fi.muni.cz/projects/biwec/)
首次出现
2011-12-09 21:48:00
最后出现
2013-12-20 23:26:22
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
147.251.48.4 aura.fi.muni.cz CZ
用户代理字符串
Mozilla/5.0 (compatible; socketcrawler; http://nlp.fi.muni.cz/projects/biwec/)
首次出现
2011-09-14 21:10:14
最后出现
2011-12-15 10:02:01
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
147.251.48.4 aura.fi.muni.cz CZ
用户代理字符串
Mozilla/5.0 (compatible; heritrix/1.14.3 +http://nlp.fi.muni.cz/projekty/biwec/)
首次出现
2010-11-03 04:16:42
最后出现
2010-11-03 04:16:42
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
147.251.45.74 alba.fi.muni.cz CZ

访问控制

了解如何控制SpiderLing访问权限,避免SpiderLing抓取行为不当。

是否拦截SpiderLing?

对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的,也可能是坏的,这取决于它是什么。所以说,这需要站长进一步分析判断这些尚不明确的爬虫行为,再作最终决定。 但,根据以往的经验,未声明行为目的及未命名的蜘蛛爬虫,通常都有不可告人的秘密,我们理应对其行为进行控制,比如拦截。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SpiderLing 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: SpiderLing
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
companyspotter
companyspotter蜘蛛/爬虫属于其他类型,由CompanySpotter BV开发运行。您可以继续阅读下方信息,以深入了解companyspotter基本信息,用户代理和访问控制等。
DataForSeo bot
DataForSeo bot蜘蛛/爬虫属于其他类型,由DataForSEO OU开发运行。您可以继续阅读下方信息,以深入了解DataForSeo bot基本信息,用户代理和访问控制等。
CloudFlare crawler
CloudFlare crawler蜘蛛/爬虫属于其他类型,由CloudFlare, Inc.开发运行。您可以继续阅读下方信息,以深入了解CloudFlare crawler基本信息,用户代理和访问控制等。
Odin
Odin蜘蛛/爬虫属于其他类型,由Cyble, Inc.开发运行。您可以继续阅读下方信息,以深入了解Odin基本信息,用户代理和访问控制等。
Chrome Privacy Preserving Prefetch Proxy
Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬虫属于其他类型,由Google Inc.开发运行。您可以继续阅读下方信息,以深入了解Chrome Privacy Preserving Prefetch Proxy基本信息,用户代理和访问控制等。
EFF crawler
EFF crawler蜘蛛/爬虫属于其他类型,由Electronic Frontier Foundation开发运行。您可以继续阅读下方信息,以深入了解EFF crawler基本信息,用户代理和访问控制等。
Modat crawler
Modat crawler蜘蛛/爬虫属于其他类型,由Modat B.V.开发运行。您可以继续阅读下方信息,以深入了解Modat crawler基本信息,用户代理和访问控制等。
FirmoGraph
FirmoGraph蜘蛛/爬虫属于其他类型,由firmograph.io开发运行。您可以继续阅读下方信息,以深入了解FirmoGraph基本信息,用户代理和访问控制等。

相关文章

Related Articles