inetdex bot

inetdex bot蜘蛛/爬蟲屬於搜尋引擎型別,由Cyberserver Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解inetdex bot基本資訊,使用者代理和訪問控制等。

基本資訊

inetdex bot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
inetdex bot
型別
搜尋引擎
開發商
Cyberserver Ltd.
當前狀態
活動

使用者代理

關於inetdex bot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
INETDEX-BOT/2.0
使用者代理字串
INETDEX-BOT/2.0 (http://www.inetdex.com)
首次出現
2024-07-13 16:22:24
最後出現
2024-07-13 16:22:29
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
51.89.128.250 ip250.ip-51-89-128.eu GB
158.69.254.117 bot130.inetdex.com CA
158.69.116.202 bot240.inetdex.com CA
158.69.118.54 bot280.inetdex.com CA
158.69.55.30 bot230.inetdex.com CA
使用者代理字串
INetBot/2.0 (http://www.inetdex.com; bot@inetdex.com)
首次出現
2024-04-07 06:29:52
最後出現
2024-04-07 13:01:58
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
145.239.255.241 ns3102664.ip-145-239-255.eu FR
使用者代理字串
INETDEX-BOT/1.5 (Mozilla/5.0 (Search Engine Bot); https://inetdex.com/; info at inetdex dot com)
首次出現
2022-05-31 22:12:06
最後出現
2022-06-12 14:51:14
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
51.75.241.40 srv-eu03.securelinux.net FR
使用者代理字串
INETDEX-BOT/1.5 (Mozilla/5.0; Search Engine Bot; https://inetdex.com/; info at inetdex dot com)
首次出現
2022-05-29 04:02:10
最後出現
2022-06-09 13:40:51
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
51.75.241.40 srv-eu03.securelinux.net FR
使用者代理字串
INETDEX-BOT/1.5 (Mozilla/5.0 (compatible; indexing for WebSearchEngine.org); https://inetdex.com/; info at inetdex dot com)
首次出現
2022-05-18 03:55:58
最後出現
2022-05-18 05:21:33
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
51.75.241.40 srv-eu03.securelinux.net FR
使用者代理字串
INETDEX-BOT/1.5 (Mozilla/5.0 (Crawling for WebSearchEngine.org); https://inetdex.com/; info at inetdex dot com)
首次出現
2022-05-17 23:25:05
最後出現
2022-05-17 23:25:13
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
51.75.241.40 srv-eu03.securelinux.net FR
使用者代理字串
INETDEX-BOT/1.5 (Mozilla/5.0; https://inetdex.com/; bot at inetdex dot com)
首次出現
2022-03-12 12:50:04
最後出現
2022-03-12 12:50:04
遵循robots.txt
來源
IP地址(11) 伺服器名稱 所屬國家
51.75.241.40 srv-eu03.securelinux.net FR
168.119.91.226 static.226.91.119.168.clients.your-server.de DE
217.182.198.226 srv-eu49.securelinux.net FR
37.187.112.105 srv-eu09.securelinux.net FR
51.75.145.235 srv-eu04.securelinux.net FR
使用者代理字串
INETDEX-BOT/1.5 (Mozilla/5.0; https://inetdex.com/; bot at inetdex dot com)
首次出現
2022-03-12 12:50:04
最後出現
2022-03-12 12:50:04
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
168.119.91.226 static.226.91.119.168.clients.your-server.de ?
使用者代理字串
INETDEX-BOT/1.4 (https://inetdex.com)
首次出現
2022-01-07 14:09:28
最後出現
2022-01-18 16:57:07
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
168.119.91.226 static.226.91.119.168.clients.your-server.de DE
51.75.241.40 srv-eu03.securelinux.net FR
使用者代理字串
INETDEX-BOT/1.4 (https://inetdex.com)
首次出現
2022-01-07 14:09:28
最後出現
2022-01-18 16:57:07
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
51.75.241.40 ns3133170.ip-51-75-241.eu FR
使用者代理字串
INETDEX/1.4 (https://inetdex.com)
首次出現
2022-01-04 19:13:20
最後出現
2022-01-06 12:58:34
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
51.75.241.40 ns3133170.ip-51-75-241.eu FR
使用者代理字串
INETDEX BOT/INETDEX BOT 1.4 (https://inetdex.com)
首次出現
2021-09-18 13:54:40
最後出現
2021-10-24 18:40:18
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
176.9.91.101 ? DE
使用者代理字串
INETDEX BOT
首次出現
2021-08-20 16:00:48
最後出現
2021-08-20 16:00:48
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
176.9.91.101 static.101.91.9.176.clients.your-server.de DE
198.245.61.174 srv17.inetdex.com CA
使用者代理字串
INETDEX BOT
首次出現
2021-08-20 16:00:48
最後出現
2021-08-20 16:00:48
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
198.245.61.174 srv17.inetdex.com CA
使用者代理字串
inetdex/1.2 (http://www.inetdex.com; info@inetdex.com)
首次出現
2017-09-22 16:19:04
最後出現
2017-09-22 16:19:05
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
91.121.183.176 inetdex.com FR
使用者代理字串
inetdex/1.2 (http://www.inetdex.com; info@inetdex.com)
首次出現
2017-09-22 16:19:04
最後出現
2017-09-22 16:19:05
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
91.121.183.176 inetdex.com FR

訪問控制

瞭解如何控制inetdex bot訪問許可權,避免inetdex bot抓取行為不當。

是否攔截inetdex bot?

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 inetdex bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: inetdex bot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

INETDEX-BOT(也被稱為網路爬蟲)訪問網站併為各種型別的檔案(HTML、PDF…)編制索引,然後你可以通過網路搜尋引擎搜尋這些檔案。

INETDEX-BOT尊重Robots.txt檔案。

請讓INETDEX-BOT為您的網站編制索引,並使其對訪問者開放。

在下面的頁面中,你可以看到使用INETDEX-BOT索引的搜尋引擎。

https://websearchengine.net/,由INETDEX驅動的搜尋引擎

你可以給inetdex發郵件:info [at] inetdex [dot] com

常見蜘蛛/爬蟲

Common Spiders
Palpex crawler
Palpex crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Palpex開發執行。您可以繼續閱讀下方資訊,以深入瞭解Palpex crawler基本資訊,使用者代理和訪問控制等。
lyonl
lyonl蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl基本資訊,使用者代理和訪問控制等。
lyonl-crawler
lyonl-crawler蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl-crawler基本資訊,使用者代理和訪問控制等。
kagi bot
kagi bot蜘蛛/爬蟲屬於搜尋引擎型別,由Kagi Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解kagi bot基本資訊,使用者代理和訪問控制等。
AVALW-SearchBot
AVALW-SearchBot蜘蛛/爬蟲屬於搜尋引擎型別,由AVALW SRL開發執行。您可以繼續閱讀下方資訊,以深入瞭解AVALW-SearchBot基本資訊,使用者代理和訪問控制等。
amazon-kendra
amazon-kendra蜘蛛/爬蟲屬於搜尋引擎型別,由Amazon.com, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解amazon-kendra基本資訊,使用者代理和訪問控制等。
Stripebot
Stripebot蜘蛛/爬蟲屬於搜尋引擎型別,由Stripe, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Stripebot基本資訊,使用者代理和訪問控制等。
Qwantbot
Qwantbot蜘蛛/爬蟲屬於搜尋引擎型別,由Qwant SAS開發執行。您可以繼續閱讀下方資訊,以深入瞭解Qwantbot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles