AmazonAdBot

AmazonAdBot蜘蛛/爬蟲屬於其他型別,由Amazon.com, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解AmazonAdBot基本資訊,使用者代理和訪問控制等。

基本資訊

AmazonAdBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
AmazonAdBot
型別
其他
開發商
Amazon.com, Inc.
當前狀態
活動

使用者代理

關於AmazonAdBot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
AmazonAdBot/1.0
使用者代理字串
Mozilla/5.0 (compatible; AmazonAdBot/1.0; https://adbot.amazon.com)
首次出現
2019-02-19 14:12:52
最後出現
2019-02-19 16:42:31
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
72.21.217.139 72.21.217.139 US
72.21.217.99 72.21.217.99 US
72.21.217.135 72.21.217.135 US
72.21.217.133 72.21.217.133 US
72.21.217.104 72.21.217.104 US
72.21.217.187 72.21.217.187 US
72.21.217.96 72.21.217.96 US
72.21.217.40 72.21.217.40 US
72.21.217.119 72.21.217.119 US
72.21.217.219 72.21.217.219 US
72.21.217.112 72.21.217.112 US
72.21.217.185 72.21.217.185 US
72.21.217.155 72.21.217.155 US
72.21.217.100 72.21.217.100 US
72.21.217.143 72.21.217.143 US
54.152.18.41 ec2-54-152-18-41.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; AmazonAdBot/1.0; https://adbot.amazon.com)
首次出現
2019-02-19 14:12:52
最後出現
2019-02-19 16:42:31
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.152.18.41 ec2-54-152-18-41.compute-1.amazonaws.com US

訪問控制

瞭解如何控制AmazonAdBot訪問許可權,避免AmazonAdBot抓取行為不當。

是否攔截AmazonAdBot?

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 AmazonAdBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: AmazonAdBot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: AmazonAdBot Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: AmazonAdBot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Fraunhofer crawler
Fraunhofer crawler蜘蛛/爬蟲屬於其他型別,由Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Fraunhofer crawler基本資訊,使用者代理和訪問控制等。
companyspotter
companyspotter蜘蛛/爬蟲屬於其他型別,由CompanySpotter BV開發執行。您可以繼續閱讀下方資訊,以深入瞭解companyspotter基本資訊,使用者代理和訪問控制等。
DataForSeo bot
DataForSeo bot蜘蛛/爬蟲屬於其他型別,由DataForSEO OU開發執行。您可以繼續閱讀下方資訊,以深入瞭解DataForSeo bot基本資訊,使用者代理和訪問控制等。
CloudFlare crawler
CloudFlare crawler蜘蛛/爬蟲屬於其他型別,由CloudFlare, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解CloudFlare crawler基本資訊,使用者代理和訪問控制等。
Odin
Odin蜘蛛/爬蟲屬於其他型別,由Cyble, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Odin基本資訊,使用者代理和訪問控制等。
Chrome Privacy Preserving Prefetch Proxy
Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬蟲屬於其他型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Chrome Privacy Preserving Prefetch Proxy基本資訊,使用者代理和訪問控制等。
EFF crawler
EFF crawler蜘蛛/爬蟲屬於其他型別,由Electronic Frontier Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解EFF crawler基本資訊,使用者代理和訪問控制等。
Modat crawler
Modat crawler蜘蛛/爬蟲屬於其他型別,由Modat B.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Modat crawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles