

IP地址(4) | 伺服器名稱 | 所屬國家 |
---|---|---|
91.143.80.66 | crawler-66-80-143-91.infotiger.com | DE |
91.143.88.40 | crawler-40-88-143-91.infotiger.com | DE |
85.31.186.210 | crawler-210-186-31-85.infotiger.com | DE |
91.143.93.12 | crawler-12-93-143-91.infotiger.com | DE |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 InfoTigerBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: InfoTigerBot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
InfoTigerBot是為infotiger搜尋引擎的網路爬蟲提供的網路機器人(bot)。基本上,InfoTigerBot正在瀏覽網頁並檢索網頁,這些網頁可能會被解析,並可能在以後被infotiger搜尋引擎收錄。
InfoTigerBot通常由以下使用者代理字串來識別。
Mozilla/5.0 (compatible; InfoTigerBot/1.9; +https://infotiger.com/bot)
infotiger.com的爬蟲的源IP地址確實解決了類似的問題。
crawler-40-88-143-91.infotiger.com
你可以通過比較反向DNS(ip->name)和正向DNS(name->ip)來驗證真實性,它們應該與原始IP地址相匹配。
# nslookup 91.143.88.40 40.88.143.91.in-addr.arpa name = crawler-40-88-143-91.infotiger.com. # nslookup crawler-40-88-143-91.infotiger.com Name: crawler-40-88-143-91.infotiger.com Address: 91.143.88.40
請注意,使用者代理(User-Agent)字串很容易被欺騙,所以並不是每個名字中帶有InfoTigerBot的請求都可能來自infotiger.com的爬蟲。
InfoTigerBot總是(儘量)有禮貌的,並且將每分鐘的請求數限制在一個主機上。
InfoTigerBot遵守robots.txt規則,該規則由robots排除標準定義。
此外,InfoTigerBot還尊重HTML頭中的robots元標籤,特別是 noindex 和 nofollow。
如果你不希望你的網頁被infotiger搜尋引擎收錄,你可以通過適當地編輯你的robots.txt或robots元標籤來輕鬆排除InfoTigerBot。
您可以在infotiger.com的新增URL頁面提交您的URL,以便被InfoTigerBot抓取。
如果您有任何問題或想報告InfoTigerBot的問題,請給他們留言: contact (at) infotiger (point) com