Alexabot
Alexabot蜘蛛/爬蟲屬於其他型別，由Alexa Internet, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Alexabot基本資訊，使用者代理和訪問控制等。
基本資訊
Alexabot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- Alexabot
- 型別
- 其他
- 開發商
-
Alexa Internet, Inc.
- 當前狀態
-
活動
使用者代理
關於Alexabot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
ia_archiver/1.0
-
ia_archiver/1.0
-
ia_archiver alexa
-
Alexabot/1.0
-
Alexabot/1.0
-
alexa site audit/1.0
-
ia_archiver(OS-Wayback)
-
alexa site audit/1.0
-
alexa site audit/1.0
-
ia_archiver
-
ia_archiver
- 使用者代理字串
- Mozilla/5.0 (compatible; ia_archiver/1.0; +http://www.alexa.com/help/webmasters; crawler@alexa.com)
- 首次出現
- 2019-07-19 17:37:53
- 最後出現
- 2023-08-16 21:56:59
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(4) |
伺服器名稱 |
所屬國家 |
| 3.208.220.200 |
ec2-3-208-220-200.compute-1.amazonaws.com |
US |
| 3.218.77.26 |
ec2-3-218-77-26.compute-1.amazonaws.com |
US |
| 3.217.157.17 |
ec2-3-217-157-17.compute-1.amazonaws.com |
US |
| 155.69.184.58 |
155.69.184.58 |
SG |
- 使用者代理字串
- ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)
- 首次出現
- 2009-05-11 05:50:00
- 最後出現
- 2021-12-06 20:53:25
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(9) |
伺服器名稱 |
所屬國家 |
| 102.89.0.190 |
102.89.0.190 |
NG |
| 173.254.253.241 |
173.254.253.241.static.greencloudvps.com |
US |
| 89.15.236.122 |
x590fec7a.dyn.telefonica.de |
DE |
| 121.126.242.10 |
121.126.242.10 |
KR |
| 171.22.76.13 |
171.22.76.13 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Alexabot/1.0; +http://www.alexa.com/help/certifyscan; certifyscan@alexa.com)
- 首次出現
- 2014-05-12 13:00:00
- 最後出現
- 2021-05-20 19:49:13
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(13) |
伺服器名稱 |
所屬國家 |
| 70.108.8.72 |
pool-70-108-8-72.washdc.fios.verizon.net |
US |
| 54.224.145.159 |
ec2-54-224-145-159.compute-1.amazonaws.com |
US |
| 54.198.119.172 |
ec2-54-198-119-172.compute-1.amazonaws.com |
US |
| 54.89.126.26 |
ec2-54-89-126-26.compute-1.amazonaws.com |
US |
| 54.234.173.219 |
ec2-54-234-173-219.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; Alexabot/1.0; +http://www.alexa.com/help/certifyscan; no-reply@alexa.com)
- 首次出現
- 2018-11-12 17:03:25
- 最後出現
- 2019-05-12 18:02:13
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(4) |
伺服器名稱 |
所屬國家 |
| 52.2.182.169 |
ec2-52-2-182-169.compute-1.amazonaws.com |
US |
| 52.86.185.29 |
ec2-52-86-185-29.compute-1.amazonaws.com |
US |
| 52.4.48.181 |
crawl-52-4-48-181.alexa.com |
US |
| 52.86.176.3 |
crawl-52-86-176-3.alexa.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; no-reply@alexa.com)
- 首次出現
- 2015-04-20 08:15:00
- 最後出現
- 2015-04-18 11:51:01
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 54.163.43.127 |
ec2-54-163-43-127.compute-1.amazonaws.com |
US |
- 使用者代理字串
- ia_archiver(OS-Wayback)
- 首次出現
- 2011-02-04 14:47:08
- 最後出現
- 2013-10-31 04:10:26
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(22) |
伺服器名稱 |
所屬國家 |
| 207.241.226.238 |
wwwb-live4.us.archive.org |
US |
| 207.241.226.239 |
wwwb-live3.us.archive.org |
US |
| 207.241.229.207 |
wwwb-live0.us.archive.org |
US |
| 207.241.229.208 |
wwwb-live1.us.archive.org |
US |
| 207.241.226.200 |
wwwb-proxy0.us.archive.org |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; siteaudit@alexa.com)
- 首次出現
- 2013-10-20 22:01:51
- 最後出現
- 2013-10-18 18:57:51
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(15) |
伺服器名稱 |
所屬國家 |
| 52.86.185.29 |
ec2-52-86-185-29.compute-1.amazonaws.com |
US |
| 52.86.176.3 |
crawl-52-86-176-3.alexa.com |
US |
| 52.4.48.181 |
crawl-52-4-48-181.alexa.com |
US |
| 52.2.182.169 |
ec2-52-2-182-169.compute-1.amazonaws.com |
US |
| 54.90.98.21 |
ec2-54-90-98-21.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; siteaudit@alexa.com)
- 首次出現
- 2013-10-20 22:01:51
- 最後出現
- 2013-10-18 18:57:51
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 54.243.26.28 |
ec2-54-243-26-28.compute-1.amazonaws.com |
US |
- 使用者代理字串
- ia_archiver-web.archive.org
- 首次出現
- 2009-05-11 05:50:00
- 最後出現
- 2011-06-26 22:04:04
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(69) |
伺服器名稱 |
所屬國家 |
| 153.35.206.137 |
153.35.206.137 |
CN |
| 153.35.206.27 |
153.35.206.27 |
CN |
| 153.35.206.194 |
153.35.206.194 |
CN |
| 153.35.206.130 |
153.35.206.130 |
CN |
| 153.35.206.89 |
153.35.206.89 |
CN |
- 使用者代理字串
- ia_archiver-web.archive.org
- 首次出現
- 2009-05-11 05:50:00
- 最後出現
- 2011-06-26 22:04:04
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 207.241.227.85 |
ia310728.us.archive.org |
US |
| 207.241.227.98 |
ia310741.us.archive.org |
US |
| 207.241.230.77 |
ia310738.us.archive.org |
US |
| 207.241.227.99 |
ia310742.us.archive.org |
US |
| 207.241.236.44 |
ia701504.us.archive.org |
US |
訪問控制
瞭解如何控制Alexabot訪問許可權，避免Alexabot抓取行為不當。
是否攔截Alexabot？
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的，也可能是壞的，這取決於它是什麼。所以說，這需要站長進一步分析判斷這些尚不明確的爬蟲行為，再作最終決定。
但，根據以往的經驗，未宣告行為目的及未命名的蜘蛛爬蟲，通常都有不可告人的祕密，我們理應對其行為進行控制，比如攔截。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Alexabot 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Alexabot
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
