Alexabot

Alexabot蜘蛛/爬蟲屬於其他型別,由Alexa Internet, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Alexabot基本資訊,使用者代理和訪問控制等。

基本資訊

Alexabot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Alexabot
型別
其他
開發商
Alexa Internet, Inc.
當前狀態
活動

使用者代理

關於Alexabot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
ia_archiver/1.0
使用者代理字串
Mozilla/5.0 (compatible; ia_archiver/1.0; +http://www.alexa.com/help/webmasters; crawler@alexa.com)
首次出現
2019-07-19 17:37:53
最後出現
2023-08-16 21:56:59
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
3.208.220.200 ec2-3-208-220-200.compute-1.amazonaws.com US
3.218.77.26 ec2-3-218-77-26.compute-1.amazonaws.com US
3.217.157.17 ec2-3-217-157-17.compute-1.amazonaws.com US
155.69.184.58 155.69.184.58 SG
使用者代理字串
ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)
首次出現
2009-05-11 05:50:00
最後出現
2021-12-06 20:53:25
遵循robots.txt
未知
來源
IP地址(31) 伺服器名稱 所屬國家
102.89.0.190 102.89.0.190 NG
173.254.253.241 173.254.253.241.static.greencloudvps.com US
89.15.236.122 x590fec7a.dyn.telefonica.de DE
121.126.242.10 121.126.242.10 KR
171.22.76.13 171.22.76.13 US
121.126.120.175 121.126.120.175 KR
115.144.204.48 ? KR
183.78.156.37 ? KR
174.129.237.157 ec2-174-129-237-157.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; Alexabot/1.0; +http://www.alexa.com/help/certifyscan; certifyscan@alexa.com)
首次出現
2014-05-12 13:00:00
最後出現
2021-05-20 19:49:13
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
70.108.8.72 pool-70-108-8-72.washdc.fios.verizon.net US
54.224.145.159 ec2-54-224-145-159.compute-1.amazonaws.com US
54.198.119.172 ec2-54-198-119-172.compute-1.amazonaws.com US
54.89.126.26 ec2-54-89-126-26.compute-1.amazonaws.com US
54.234.173.219 ec2-54-234-173-219.compute-1.amazonaws.com US
54.197.53.58 ec2-54-197-53-58.compute-1.amazonaws.com US
54.83.85.10 ec2-54-83-85-10.compute-1.amazonaws.com US
140.213.218.71 140.213.218.71 ID
52.2.182.169 ec2-52-2-182-169.compute-1.amazonaws.com US
52.86.185.29 ec2-52-86-185-29.compute-1.amazonaws.com US
52.4.48.181 crawl-52-4-48-181.alexa.com US
52.86.176.3 crawl-52-86-176-3.alexa.com US
155.69.184.58 155.69.184.58 SG
使用者代理字串
Mozilla/5.0 (compatible; Alexabot/1.0; +http://www.alexa.com/help/certifyscan; no-reply@alexa.com)
首次出現
2018-11-12 17:03:25
最後出現
2019-05-12 18:02:13
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
52.2.182.169 ec2-52-2-182-169.compute-1.amazonaws.com US
52.86.185.29 ec2-52-86-185-29.compute-1.amazonaws.com US
52.4.48.181 crawl-52-4-48-181.alexa.com US
52.86.176.3 crawl-52-86-176-3.alexa.com US
使用者代理字串
Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; no-reply@alexa.com)
首次出現
2015-04-20 08:15:00
最後出現
2015-04-18 11:51:01
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.163.43.127 ec2-54-163-43-127.compute-1.amazonaws.com US
使用者代理字串
ia_archiver(OS-Wayback)
首次出現
2011-02-04 14:47:08
最後出現
2013-10-31 04:10:26
遵循robots.txt
未知
來源
IP地址(22) 伺服器名稱 所屬國家
207.241.226.238 wwwb-live4.us.archive.org US
207.241.226.239 wwwb-live3.us.archive.org US
207.241.229.207 wwwb-live0.us.archive.org US
207.241.229.208 wwwb-live1.us.archive.org US
207.241.226.200 wwwb-proxy0.us.archive.org US
207.241.229.244 wwwb-live2.us.archive.org US
207.241.232.42 wwwb-proxy0.us.archive.org US
207.241.224.41 wwwb-gen1.us.archive.org US
207.241.224.42 wwwb-gen2.us.archive.org US
207.241.226.66 wwwb-gen9.us.archive.org US
207.241.227.244 wwwb-gen5.us.archive.org US
207.241.229.243 wwwb-app0.us.archive.org US
207.241.226.160 wwwb-gen6.us.archive.org US
207.241.226.153 wwwb-gen7.us.archive.org US
207.241.226.112 wwwb-gen8.us.archive.org US
207.241.226.116 wwwb-liveweb.us.archive.org US
207.241.228.180 ia360938.us.archive.org US
207.241.226.68 wwwb-gen4.us.archive.org US
207.241.226.67 wwwb-gen5.us.archive.org US
207.241.226.106 wwwb-live0.us.archive.org US
207.241.224.43 wwwb-gen3.us.archive.org US
207.241.226.101 wwwb-live1.us.archive.org US
使用者代理字串
Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; siteaudit@alexa.com)
首次出現
2013-10-20 22:01:51
最後出現
2013-10-18 18:57:51
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
52.86.185.29 ec2-52-86-185-29.compute-1.amazonaws.com US
52.86.176.3 crawl-52-86-176-3.alexa.com US
52.4.48.181 crawl-52-4-48-181.alexa.com US
52.2.182.169 ec2-52-2-182-169.compute-1.amazonaws.com US
54.90.98.21 ec2-54-90-98-21.compute-1.amazonaws.com US
109.206.243.220 109.206.243.220 US
54.163.43.127 ec2-54-163-43-127.compute-1.amazonaws.com US
54.243.26.28 ec2-54-243-26-28.compute-1.amazonaws.com US
20.39.192.50 20.39.192.50 KR
18.234.235.225 ec2-18-234-235-225.compute-1.amazonaws.com US
165.232.170.200 165.232.170.200 SG
155.69.184.58 155.69.184.58 SG
34.97.127.182 182.127.97.34.bc.googleusercontent.com JP
45.89.247.57 45.89.247.57 BG
104.194.9.42 104.194.9.42 US
使用者代理字串
Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; siteaudit@alexa.com)
首次出現
2013-10-20 22:01:51
最後出現
2013-10-18 18:57:51
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.243.26.28 ec2-54-243-26-28.compute-1.amazonaws.com US
使用者代理字串
ia_archiver-web.archive.org
首次出現
2009-05-11 05:50:00
最後出現
2011-06-26 22:04:04
遵循robots.txt
未知
來源
IP地址(57) 伺服器名稱 所屬國家
153.35.206.137 153.35.206.137 CN
153.35.206.27 153.35.206.27 CN
153.35.206.194 153.35.206.194 CN
153.35.206.130 153.35.206.130 CN
153.35.206.89 153.35.206.89 CN
153.35.206.175 153.35.206.175 CN
153.35.206.32 153.35.206.32 CN
153.37.224.130 153.37.224.130 CN
153.35.206.254 153.35.206.254 CN
153.37.224.89 153.37.224.89 CN
207.241.227.85 ia310728.us.archive.org US
207.241.227.91 ia310734.us.archive.org US
207.241.230.18 ia310718.us.archive.org US
207.241.227.69 ia310711.us.archive.org US
207.241.230.78 ia310739.us.archive.org US
207.241.227.81 ia310724.us.archive.org US
207.241.227.92 ia310735.us.archive.org US
207.241.230.19 ia310719.us.archive.org US
207.241.227.70 ia310712.us.archive.org US
207.241.236.42 ia701502.us.archive.org US
207.241.227.98 ia310741.us.archive.org US
207.241.230.77 ia310738.us.archive.org US
207.241.227.99 ia310742.us.archive.org US
207.241.236.44 ia701504.us.archive.org US
207.241.227.94 ia310737.us.archive.org US
207.241.227.100 ia310743.us.archive.org US
207.241.230.21 ia310721.us.archive.org US
207.241.227.73 ia310715.us.archive.org US
207.241.236.47 ia701507.us.archive.org US
207.241.230.17 ia310717.us.archive.org US
207.241.227.68 ia310710.us.archive.org US
207.241.227.79 ia310721.us.archive.org US
207.241.230.14 ia310714.us.archive.org US
207.241.230.30 ia310732.us.archive.org US
207.241.227.77 ia310719.us.archive.org US
207.241.227.89 ia310732.us.archive.org US
207.241.236.50 ia701510.us.archive.org US
207.241.230.16 ia310716.us.archive.org US
207.241.227.58 ia310739.us.archive.org US
207.241.230.75 ia310736.us.archive.org US
207.241.227.78 ia310720.us.archive.org US
207.241.227.90 ia310733.us.archive.org US
157.0.160.13 157.0.160.13 CN
207.241.227.93 ia310736.us.archive.org US
207.241.230.20 ia310720.us.archive.org US
207.241.227.71 ia310713.us.archive.org US
207.241.236.43 ia701503.us.archive.org US
207.241.227.83 ia310726.us.archive.org US
207.241.227.72 ia310714.us.archive.org US
122.193.110.43 ? CN
112.86.53.94 112.86.53.94 CN
207.241.236.46 ia701506.us.archive.org US
196.204.180.102 ia714638.archive.bibalex.org EG
207.241.227.84 ia310727.us.archive.org US
207.241.227.76 ia310718.us.archive.org US
207.241.230.26 ia310728.us.archive.org US
207.241.227.97 ia310740.us.archive.org US
207.241.230.24 ia310726.us.archive.org US
207.241.227.74 ia310716.us.archive.org US
196.204.180.68 ia714602.archive.bibalex.org EG
207.241.227.82 ia310725.us.archive.org US
207.241.230.27 ia310729.us.archive.org US
207.241.227.88 ia310731.us.archive.org US
207.241.227.86 ia310729.us.archive.org US
207.241.227.95 ia310738.us.archive.org US
207.241.236.48 ia701508.us.archive.org US
207.241.227.75 ia310717.us.archive.org US
207.241.227.87 ia310730.us.archive.org US
207.241.236.49 ia701509.us.archive.org US
使用者代理字串
ia_archiver-web.archive.org
首次出現
2009-05-11 05:50:00
最後出現
2011-06-26 22:04:04
遵循robots.txt
未知
來源
IP地址(57) 伺服器名稱 所屬國家
207.241.227.85 ia310728.us.archive.org US
207.241.227.98 ia310741.us.archive.org US
207.241.230.77 ia310738.us.archive.org US
207.241.227.99 ia310742.us.archive.org US
207.241.236.44 ia701504.us.archive.org US
207.241.227.94 ia310737.us.archive.org US
207.241.227.100 ia310743.us.archive.org US
207.241.230.21 ia310721.us.archive.org US
207.241.227.73 ia310715.us.archive.org US
207.241.236.47 ia701507.us.archive.org US

訪問控制

瞭解如何控制Alexabot訪問許可權,避免Alexabot抓取行為不當。

是否攔截Alexabot?

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Alexabot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Alexabot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Alexabot Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Alexabot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Fraunhofer crawler
Fraunhofer crawler蜘蛛/爬蟲屬於其他型別,由Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Fraunhofer crawler基本資訊,使用者代理和訪問控制等。
companyspotter
companyspotter蜘蛛/爬蟲屬於其他型別,由CompanySpotter BV開發執行。您可以繼續閱讀下方資訊,以深入瞭解companyspotter基本資訊,使用者代理和訪問控制等。
DataForSeo bot
DataForSeo bot蜘蛛/爬蟲屬於其他型別,由DataForSEO OU開發執行。您可以繼續閱讀下方資訊,以深入瞭解DataForSeo bot基本資訊,使用者代理和訪問控制等。
CloudFlare crawler
CloudFlare crawler蜘蛛/爬蟲屬於其他型別,由CloudFlare, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解CloudFlare crawler基本資訊,使用者代理和訪問控制等。
Odin
Odin蜘蛛/爬蟲屬於其他型別,由Cyble, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Odin基本資訊,使用者代理和訪問控制等。
Chrome Privacy Preserving Prefetch Proxy
Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬蟲屬於其他型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Chrome Privacy Preserving Prefetch Proxy基本資訊,使用者代理和訪問控制等。
EFF crawler
EFF crawler蜘蛛/爬蟲屬於其他型別,由Electronic Frontier Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解EFF crawler基本資訊,使用者代理和訪問控制等。
Modat crawler
Modat crawler蜘蛛/爬蟲屬於其他型別,由Modat B.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Modat crawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles