Contacts Crawler

基本資訊

Contacts Crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

蜘蛛/爬蟲名稱: Contacts Crawler

型別: 爬蟲

開發商: Zyte

當前狀態: 無效

使用者代理

關於Contacts Crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

使用者代理字串: Contacts-Crawler/0.2 (+http://www.scrapinghub.com)

首次出現: 2017-10-01 22:36:03

最後出現: 2018-06-28 00:35:28

遵循robots.txt: 否

來源

IP地址(3)	伺服器名稱	所屬國家
142.0.205.84	?	US
142.0.201.156	?	US
142.0.198.172	?	US

使用者代理字串: Contacts-Crawler/0.1 (+http://www.scrapinghub.com)

首次出現: 2017-05-25 11:15:29

最後出現: 2017-05-27 23:43:42

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
138.201.52.233	?	DE
136.243.134.82	?	DE
138.201.52.237	?	DE

使用者代理字串: Contacts Crawler (+http://www.scrapinghub.com)

首次出現: 2016-11-10 04:37:52

最後出現: 2017-03-10 18:55:31

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
138.201.35.134	?	DE
138.201.53.37	?	DE
136.243.74.164	?	DE
136.243.134.82	?	DE
136.243.73.12	?	DE
138.201.52.233	?	DE
136.243.139.159	?	DE
138.201.35.167	?	DE
148.251.144.116	?	DE
138.201.52.225	?	DE

訪問控制

瞭解如何控制Contacts Crawler訪問許可權，避免Contacts Crawler抓取行為不當。

是否攔截Contacts Crawler？

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Contacts Crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt

# 下列程式碼一般情況可以攔截該代理

User-agent: Contacts Crawler

Disallow: /

# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Contacts Crawler Disallow: /

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Contacts Crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

怎樣才算有利於SEO的網站結構

眾所周知，扁平且層級不超過三級的網站結構是最有利於搜尋引擎蜘蛛爬取的。顯淺的一句看似易懂但如深入，又未必是那麼容易理解。下面我們將深入瞭解網站結構的定義，重要性及實踐，以便於各位技術開發、站長和SEOer在未來的網站開發及運營中應用。

Contacts Crawler

基本資訊

使用者代理

訪問控制

是否攔截Contacts Crawler？

通過Robots.txt攔截

站長工具

常見蜘蛛/爬蟲

相關文章