CLcrawler

CLcrawler蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解CLcrawler基本資訊,使用者代理和訪問控制等。

基本資訊

CLcrawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
CLcrawler
型別
爬蟲
開發商
Unknown Author
當前狀態
活動

使用者代理

關於CLcrawler蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
CLcrawler/1.0
使用者代理字串
Mozilla/5.0 (compatible;CLcrawler/1.0)
首次出現
2019-10-09 10:25:00
最後出現
2019-10-12 04:10:48
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
188.68.226.105 n8226h105.sprintdatacenter.net PL
188.68.226.101 n8226h101.sprintdatacenter.net PL
188.68.226.104 n8226h104.sprintdatacenter.net PL
188.68.226.107 n8226h107.sprintdatacenter.net PL
188.68.226.108 n8226h108.sprintdatacenter.net PL
185.38.251.59 n251h59.sprintdatacenter.net PL
188.68.226.102 n8226h102.sprintdatacenter.net PL
188.68.226.100 n8226h100.sprintdatacenter.net PL
188.68.226.106 n8226h106.sprintdatacenter.net PL
188.68.226.103 n8226h103.sprintdatacenter.net PL

訪問控制

瞭解如何控制CLcrawler訪問許可權,避免CLcrawler抓取行為不當。

是否攔截CLcrawler?

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容,這些內容預設情況下可以免費訪問。不過,如果你不希望你的內容被用於未經授權的目的,你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 CLcrawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: CLcrawler
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: CLcrawler Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: CLcrawler
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Crawler-IP-Fetcher
Crawler-IP-Fetcher蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解Crawler-IP-Fetcher基本資訊,使用者代理和訪問控制等。
DARPResearchBot
DARPResearchBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解DARPResearchBot基本資訊,使用者代理和訪問控制等。
xfa1
xfa1蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解xfa1基本資訊,使用者代理和訪問控制等。
MassScanner
MassScanner蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解MassScanner基本資訊,使用者代理和訪問控制等。
robots-bulk-crawler
robots-bulk-crawler蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解robots-bulk-crawler基本資訊,使用者代理和訪問控制等。
studyBot
studyBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解studyBot基本資訊,使用者代理和訪問控制等。
AASA-Bot
AASA-Bot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解AASA-Bot基本資訊,使用者代理和訪問控制等。
Tranco Crawler
Tranco Crawler蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解Tranco Crawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles