InfoTigerBot

InfoTigerBot蜘蛛/爬蟲屬於搜尋引擎型別,由Infotiger UG開發執行。您可以繼續閱讀下方資訊,以深入瞭解InfoTigerBot基本資訊,使用者代理和訪問控制等。

基本資訊

InfoTigerBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
InfoTigerBot
型別
搜尋引擎
開發商
Infotiger UG
當前狀態
活動

使用者代理

關於InfoTigerBot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
InfoTigerBot/1.9
使用者代理字串
Mozilla/5.0 (compatible; InfoTigerBot/1.9; +https://infotiger.com/bot)
首次出現
2021-06-11 12:03:57
最後出現
2023-02-26 06:24:47
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
91.143.80.66 crawler-66-80-143-91.infotiger.com DE
91.143.88.40 crawler-40-88-143-91.infotiger.com DE
85.31.186.210 crawler-210-186-31-85.infotiger.com DE
91.143.93.12 crawler-12-93-143-91.infotiger.com DE

訪問控制

瞭解如何控制InfoTigerBot訪問許可權,避免InfoTigerBot抓取行為不當。

是否攔截InfoTigerBot?

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 InfoTigerBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: InfoTigerBot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: InfoTigerBot Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: InfoTigerBot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

什麼是InfoTigerBot?

InfoTigerBot是為infotiger搜尋引擎的網路爬蟲提供的網路機器人(bot)。基本上,InfoTigerBot正在瀏覽網頁並檢索網頁,這些網頁可能會被解析,並可能在以後被infotiger搜尋引擎收錄。

如何驗證InfoTigerBot

InfoTigerBot通常由以下使用者代理字串來識別。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
Mozilla/5.0 (compatible; InfoTigerBot/1.9; +https://infotiger.com/bot)
Mozilla/5.0 (compatible; InfoTigerBot/1.9; +https://infotiger.com/bot)
Mozilla/5.0 (compatible; InfoTigerBot/1.9; +https://infotiger.com/bot)

infotiger.com的爬蟲的源IP地址確實解決了類似的問題。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
crawler-40-88-143-91.infotiger.com
crawler-40-88-143-91.infotiger.com
crawler-40-88-143-91.infotiger.com

你可以通過比較反向DNS(ip->name)和正向DNS(name->ip)來驗證真實性,它們應該與原始IP地址相匹配。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# nslookup 91.143.88.40
40.88.143.91.in-addr.arpa name = crawler-40-88-143-91.infotiger.com.
# nslookup crawler-40-88-143-91.infotiger.com
Name: crawler-40-88-143-91.infotiger.com
Address: 91.143.88.40
# nslookup 91.143.88.40 40.88.143.91.in-addr.arpa name = crawler-40-88-143-91.infotiger.com. # nslookup crawler-40-88-143-91.infotiger.com Name: crawler-40-88-143-91.infotiger.com Address: 91.143.88.40
# nslookup 91.143.88.40
40.88.143.91.in-addr.arpa name = crawler-40-88-143-91.infotiger.com.

# nslookup crawler-40-88-143-91.infotiger.com
Name: crawler-40-88-143-91.infotiger.com
Address: 91.143.88.40

請注意,使用者代理(User-Agent)字串很容易被欺騙,所以並不是每個名字中帶有InfoTigerBot的請求都可能來自infotiger.com的爬蟲。

控制InfoTigerBot

InfoTigerBot總是(儘量)有禮貌的,並且將每分鐘的請求數限制在一個主機上。

InfoTigerBot遵守robots.txt規則,該規則由robots排除標準定義。

此外,InfoTigerBot還尊重HTML頭中的robots元標籤,特別是 noindex 和 nofollow

如果你不希望你的網頁被infotiger搜尋引擎收錄,你可以通過適當地編輯你的robots.txt或robots元標籤來輕鬆排除InfoTigerBot。

 

如何將我的URL新增到infotiger的索引中?

您可以在infotiger.com的新增URL頁面提交您的URL,以便被InfoTigerBot抓取。

報告問題

如果您有任何問題或想報告InfoTigerBot的問題,請給他們留言: contact (at) infotiger (point) com

常見蜘蛛/爬蟲

Common Spiders
Mithril
Mithril蜘蛛/爬蟲屬於搜尋引擎型別,由University of Michigan開發執行。您可以繼續閱讀下方資訊,以深入瞭解Mithril基本資訊,使用者代理和訪問控制等。
fynd.bot crawler
fynd.bot crawler蜘蛛/爬蟲屬於搜尋引擎型別,由fynd.bot開發執行。您可以繼續閱讀下方資訊,以深入瞭解fynd.bot crawler基本資訊,使用者代理和訪問控制等。
Alibaba crawler
Alibaba crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Alibaba Group開發執行。您可以繼續閱讀下方資訊,以深入瞭解Alibaba crawler基本資訊,使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解GoogleBot基本資訊,使用者代理和訪問控制等。
Swisscows Crawler
Swisscows Crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Swisscows AG開發執行。您可以繼續閱讀下方資訊,以深入瞭解Swisscows Crawler基本資訊,使用者代理和訪問控制等。
star-finder.de Bot
star-finder.de Bot蜘蛛/爬蟲屬於搜尋引擎型別,由projektnet開發執行。您可以繼續閱讀下方資訊,以深入瞭解star-finder.de Bot基本資訊,使用者代理和訪問控制等。
SeznamBot
SeznamBot蜘蛛/爬蟲屬於搜尋引擎型別,由Seznam.cz, a.s.開發執行。您可以繼續閱讀下方資訊,以深入瞭解SeznamBot基本資訊,使用者代理和訪問控制等。
MojeekBot
MojeekBot蜘蛛/爬蟲屬於搜尋引擎型別,由Mojeek Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解MojeekBot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles