DuckDuckBot

DuckDuckBot蜘蛛/爬蟲屬於搜尋引擎型別,由DuckDuckGo, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解DuckDuckBot基本資訊,使用者代理和訪問控制等。

基本資訊

DuckDuckBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
DuckDuckBot
型別
搜尋引擎 , 工具
開發商
DuckDuckGo, Inc.
當前狀態
活動

使用者代理

關於DuckDuckBot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
DuckDuckBot/1.1
使用者代理字串
DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)
首次出現
2009-11-08 18:41:27
最後出現
2025-01-09 21:37:43
遵循robots.txt
未知
來源
IP地址(39) 伺服器名稱 所屬國家
51.104.146.225 51.104.146.225 IE
20.56.197.63 20.56.197.63 US
20.197.209.27 20.197.209.27 US
20.72.242.93 20.72.242.93 US
20.43.150.93 20.43.150.93 SG
使用者代理字串
DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)
首次出現
2009-11-09 18:41:27
最後出現
2024-12-25 10:13:29
遵循robots.txt
未知
來源
IP地址(47) 伺服器名稱 所屬國家
93.182.76.240 93-182-76-240.netonline.net TR
135.148.89.78 ip78.ip-135-148-89.us US
2607:f7a0:5:3:805:4702:a82:58e4 2607:f7a0:5:3:805:4702:a82:58e4 US
156.96.154.175 ? US
197.185.96.128 rain-197-185-96-128.rain.network ZA
使用者代理字串
Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +http://duckduckgo.com)
首次出現
2014-12-31 07:40:00
最後出現
2024-11-30 06:27:02
遵循robots.txt
未知
來源
IP地址(46) 伺服器名稱 所屬國家
20.191.45.212 20.191.45.212 IE
40.88.21.235 40.88.21.235 US
107.21.1.8 ec2-107-21-1-8.compute-1.amazonaws.com US
54.208.102.37 ec2-54-208-102-37.compute-1.amazonaws.com US
23.21.227.63 ec2-23-21-227-63.compute-1.amazonaws.com US
使用者代理字串
'Mozilla/5.0 (compatible; DuckDuckBot-Https/1.1; https://duckduckgo.com/duckduckbot)'
首次出現
2018-11-14 12:54:32
最後出現
2021-09-25 06:59:15
遵循robots.txt
未知
來源
IP地址(50) 伺服器名稱 所屬國家
40.76.173.151 40.76.173.151 US
40.76.162.191 40.76.162.191 US
52.142.24.149 52.142.24.149 US
40.76.163.7 40.76.163.7 US
20.185.79.47 20.185.79.47 US
使用者代理字串
Mozilla/5.0 (compatible; DuckDuckBot-Https/1.1; https://duckduckgo.com/duckduckbot)
首次出現
2018-01-01 12:54:32
最後出現
2021-09-25 06:59:15
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
52.204.97.54 duckduckbot.duckduckgo.com US
54.208.100.253 duckduckbot.duckduckgo.com US
50.16.241.114 ec2-50-16-241-114.compute-1.amazonaws.com US
52.5.190.19 duckduckbot.duckduckgo.com US
50.16.241.117 duckduckbot.duckduckgo.com US
使用者代理字串
'Mozilla/5.0 (compatible; DuckDuckBot-Https/1.1; https://duckduckgo.com/duckduckbot)'
首次出現
2018-11-14 12:54:32
最後出現
2021-09-25 06:59:15
遵循robots.txt
未知
來源
IP地址(9) 伺服器名稱 所屬國家
52.204.97.54 duckduckbot.duckduckgo.com US
40.76.173.151 40.76.173.151 US
54.197.234.188 ec2-54-197-234-188.compute-1.amazonaws.com US
50.16.241.117 duckduckbot.duckduckgo.com US
54.208.100.253 ec2-54-208-100-253.compute-1.amazonaws.com US

訪問控制

瞭解如何控制DuckDuckBot訪問許可權,避免DuckDuckBot抓取行為不當。

是否攔截DuckDuckBot?

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 DuckDuckBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: DuckDuckBot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

DuckDuckBot是DuckDuckGo的網路爬蟲。DuckDuckBot的工作是不斷改進DuckDuck搜尋引擎的搜尋結果,為使用者提供最好和最安全的搜尋體驗。它尊重WWW::RobotRules並來自這些IP地址。

20.191.45.212
40.88.21.235
40.76.173.151
40.76.163.7
20.185.79.47
52.142.26.175
20.185.79.15
52.142.24.149
40.76.162.208
40.76.163.23
40.76.162.191
40.76.162.247

常見蜘蛛/爬蟲

Common Spiders
Palpex crawler
Palpex crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Palpex開發執行。您可以繼續閱讀下方資訊,以深入瞭解Palpex crawler基本資訊,使用者代理和訪問控制等。
lyonl
lyonl蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl基本資訊,使用者代理和訪問控制等。
lyonl-crawler
lyonl-crawler蜘蛛/爬蟲屬於搜尋引擎型別,由lyonl開發執行。您可以繼續閱讀下方資訊,以深入瞭解lyonl-crawler基本資訊,使用者代理和訪問控制等。
kagi bot
kagi bot蜘蛛/爬蟲屬於搜尋引擎型別,由Kagi Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解kagi bot基本資訊,使用者代理和訪問控制等。
AVALW-SearchBot
AVALW-SearchBot蜘蛛/爬蟲屬於搜尋引擎型別,由AVALW SRL開發執行。您可以繼續閱讀下方資訊,以深入瞭解AVALW-SearchBot基本資訊,使用者代理和訪問控制等。
amazon-kendra
amazon-kendra蜘蛛/爬蟲屬於搜尋引擎型別,由Amazon.com, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解amazon-kendra基本資訊,使用者代理和訪問控制等。
Stripebot
Stripebot蜘蛛/爬蟲屬於搜尋引擎型別,由Stripe, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Stripebot基本資訊,使用者代理和訪問控制等。
Qwantbot
Qwantbot蜘蛛/爬蟲屬於搜尋引擎型別,由Qwant SAS開發執行。您可以繼續閱讀下方資訊,以深入瞭解Qwantbot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles