Contacts Crawler

基本信息

Contacts Crawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

蜘蛛/爬虫名称: Contacts Crawler

类型: 爬虫

开发商: Zyte

当前状态: 无效

用户代理

关于Contacts Crawler蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: Contacts-Crawler/0.2 (+http://www.scrapinghub.com)

首次出现: 2017-10-01 22:36:03

最后出现: 2018-06-28 00:35:28

遵循robots.txt: 否

来源

IP地址(3)	服务器名称	所属国家
142.0.205.84	?	US
142.0.201.156	?	US
142.0.198.172	?	US

用户代理字符串: Contacts-Crawler/0.1 (+http://www.scrapinghub.com)

首次出现: 2017-05-25 11:15:29

最后出现: 2017-05-27 23:43:42

遵循robots.txt: 未知

来源

IP地址(3)	服务器名称	所属国家
138.201.52.233	?	DE
136.243.134.82	?	DE
138.201.52.237	?	DE

用户代理字符串: Contacts Crawler (+http://www.scrapinghub.com)

首次出现: 2016-11-10 04:37:52

最后出现: 2017-03-10 18:55:31

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
138.201.35.134	?	DE
138.201.53.37	?	DE
136.243.74.164	?	DE
136.243.134.82	?	DE
136.243.73.12	?	DE
138.201.52.233	?	DE
136.243.139.159	?	DE
138.201.35.167	?	DE
148.251.144.116	?	DE
138.201.52.225	?	DE

访问控制

了解如何控制Contacts Crawler访问权限，避免Contacts Crawler抓取行为不当。

是否拦截Contacts Crawler？

可以考虑拦截。。爬虫通常会下载公开的互联网内容，这些内容默认情况下可以免费访问。不过，如果你不希望你的内容被用于未经授权的目的，你应该拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Contacts Crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt

# 下列代码一般情况可以拦截该代理

User-agent: Contacts Crawler

Disallow: /

# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Contacts Crawler Disallow: /

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Contacts Crawler
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

怎样才算有利于SEO的网站结构

众所周知，扁平且层级不超过三级的网站结构是最有利于搜索引擎蜘蛛爬取的。显浅的一句看似易懂但如深入，又未必是那么容易理解。下面我们将深入了解网站结构的定义，重要性及实践，以便于各位技术开发、站长和SEOer在未来的网站开发及运营中应用。

Contacts Crawler

基本信息

用户代理

访问控制

是否拦截Contacts Crawler？

通过Robots.txt拦截

站长工具

常见蜘蛛/爬虫

相关文章