Alexabot
Alexabot蜘蛛/爬虫属于其他类型，由Alexa Internet, Inc.开发运行。您可以继续阅读下方信息，以深入了解Alexabot基本信息，用户代理和访问控制等。
基本信息
Alexabot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
- 蜘蛛/爬虫名称
- Alexabot
- 类型
- 其他
- 开发商
-
Alexa Internet, Inc.
- 当前状态
-
活动
用户代理
关于Alexabot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
ia_archiver/1.0
-
ia_archiver/1.0
-
ia_archiver alexa
-
Alexabot/1.0
-
Alexabot/1.0
-
alexa site audit/1.0
-
ia_archiver(OS-Wayback)
-
alexa site audit/1.0
-
alexa site audit/1.0
-
ia_archiver
-
ia_archiver
- 用户代理字符串
- Mozilla/5.0 (compatible; ia_archiver/1.0; +http://www.alexa.com/help/webmasters; crawler@alexa.com)
- 首次出现
- 2019-07-19 17:37:53
- 最后出现
- 2023-08-16 21:56:59
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(4) |
服务器名称 |
所属国家 |
| 3.208.220.200 |
ec2-3-208-220-200.compute-1.amazonaws.com |
US |
| 3.218.77.26 |
ec2-3-218-77-26.compute-1.amazonaws.com |
US |
| 3.217.157.17 |
ec2-3-217-157-17.compute-1.amazonaws.com |
US |
| 155.69.184.58 |
155.69.184.58 |
SG |
- 用户代理字符串
- ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)
- 首次出现
- 2009-05-11 05:50:00
- 最后出现
- 2021-12-06 20:53:25
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(9) |
服务器名称 |
所属国家 |
| 102.89.0.190 |
102.89.0.190 |
NG |
| 173.254.253.241 |
173.254.253.241.static.greencloudvps.com |
US |
| 89.15.236.122 |
x590fec7a.dyn.telefonica.de |
DE |
| 121.126.242.10 |
121.126.242.10 |
KR |
| 171.22.76.13 |
171.22.76.13 |
US |
- 用户代理字符串
- Mozilla/5.0 (compatible; Alexabot/1.0; +http://www.alexa.com/help/certifyscan; certifyscan@alexa.com)
- 首次出现
- 2014-05-12 13:00:00
- 最后出现
- 2021-05-20 19:49:13
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(13) |
服务器名称 |
所属国家 |
| 70.108.8.72 |
pool-70-108-8-72.washdc.fios.verizon.net |
US |
| 54.224.145.159 |
ec2-54-224-145-159.compute-1.amazonaws.com |
US |
| 54.198.119.172 |
ec2-54-198-119-172.compute-1.amazonaws.com |
US |
| 54.89.126.26 |
ec2-54-89-126-26.compute-1.amazonaws.com |
US |
| 54.234.173.219 |
ec2-54-234-173-219.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (compatible; Alexabot/1.0; +http://www.alexa.com/help/certifyscan; no-reply@alexa.com)
- 首次出现
- 2018-11-12 17:03:25
- 最后出现
- 2019-05-12 18:02:13
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(4) |
服务器名称 |
所属国家 |
| 52.2.182.169 |
ec2-52-2-182-169.compute-1.amazonaws.com |
US |
| 52.86.185.29 |
ec2-52-86-185-29.compute-1.amazonaws.com |
US |
| 52.4.48.181 |
crawl-52-4-48-181.alexa.com |
US |
| 52.86.176.3 |
crawl-52-86-176-3.alexa.com |
US |
- 用户代理字符串
- Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; no-reply@alexa.com)
- 首次出现
- 2015-04-20 08:15:00
- 最后出现
- 2015-04-18 11:51:01
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 54.163.43.127 |
ec2-54-163-43-127.compute-1.amazonaws.com |
US |
- 用户代理字符串
- ia_archiver(OS-Wayback)
- 首次出现
- 2011-02-04 14:47:08
- 最后出现
- 2013-10-31 04:10:26
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(22) |
服务器名称 |
所属国家 |
| 207.241.226.238 |
wwwb-live4.us.archive.org |
US |
| 207.241.226.239 |
wwwb-live3.us.archive.org |
US |
| 207.241.229.207 |
wwwb-live0.us.archive.org |
US |
| 207.241.229.208 |
wwwb-live1.us.archive.org |
US |
| 207.241.226.200 |
wwwb-proxy0.us.archive.org |
US |
- 用户代理字符串
- Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; siteaudit@alexa.com)
- 首次出现
- 2013-10-20 22:01:51
- 最后出现
- 2013-10-18 18:57:51
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(15) |
服务器名称 |
所属国家 |
| 52.86.185.29 |
ec2-52-86-185-29.compute-1.amazonaws.com |
US |
| 52.86.176.3 |
crawl-52-86-176-3.alexa.com |
US |
| 52.4.48.181 |
crawl-52-4-48-181.alexa.com |
US |
| 52.2.182.169 |
ec2-52-2-182-169.compute-1.amazonaws.com |
US |
| 54.90.98.21 |
ec2-54-90-98-21.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (compatible; alexa site audit/1.0; +http://www.alexa.com/help/webmasters; siteaudit@alexa.com)
- 首次出现
- 2013-10-20 22:01:51
- 最后出现
- 2013-10-18 18:57:51
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 54.243.26.28 |
ec2-54-243-26-28.compute-1.amazonaws.com |
US |
- 用户代理字符串
- ia_archiver-web.archive.org
- 首次出现
- 2009-05-11 05:50:00
- 最后出现
- 2011-06-26 22:04:04
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(69) |
服务器名称 |
所属国家 |
| 153.35.206.137 |
153.35.206.137 |
CN |
| 153.35.206.27 |
153.35.206.27 |
CN |
| 153.35.206.194 |
153.35.206.194 |
CN |
| 153.35.206.130 |
153.35.206.130 |
CN |
| 153.35.206.89 |
153.35.206.89 |
CN |
- 用户代理字符串
- ia_archiver-web.archive.org
- 首次出现
- 2009-05-11 05:50:00
- 最后出现
- 2011-06-26 22:04:04
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(10) |
服务器名称 |
所属国家 |
| 207.241.227.85 |
ia310728.us.archive.org |
US |
| 207.241.227.98 |
ia310741.us.archive.org |
US |
| 207.241.230.77 |
ia310738.us.archive.org |
US |
| 207.241.227.99 |
ia310742.us.archive.org |
US |
| 207.241.236.44 |
ia701504.us.archive.org |
US |
访问控制
了解如何控制Alexabot访问权限，避免Alexabot抓取行为不当。
是否拦截Alexabot？
对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的，也可能是坏的，这取决于它是什么。所以说，这需要站长进一步分析判断这些尚不明确的爬虫行为，再作最终决定。
但，根据以往的经验，未声明行为目的及未命名的蜘蛛爬虫，通常都有不可告人的秘密，我们理应对其行为进行控制，比如拦截。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Alexabot 或限制其访问权限。我们建议安装 Spider Analyser
插件，以检查它是否真正遵循这些规则。
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Alexabot
Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
