CCBot
CCBot蜘蛛/爬虫属于AI数据采集类型，由CommonCrawl Foundation开发运行。您可以继续阅读下方信息，以深入了解CCBot基本信息，用户代理和访问控制等。
基本信息
CCBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
- 蜘蛛/爬虫名称
- CCBot
- 类型
- AI数据采集
- 开发商
-
CommonCrawl Foundation
- 当前状态
-
活动
用户代理
关于CCBot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
CCBot/3.0
-
CCBot/3.0
-
CCBot/3.1
-
CCBot/2.0
-
CCBot/2.0
-
CCBot/2.0
-
CCResearchBot
-
CCResearchBot
-
CCResearchBot
-
CCResearchBot/1.0
-
CCBot/1.0
- 用户代理字符串
- CCBot/3.0 (TEst crawl with StormCrawler; https://commoncrawl.org/faq/; info@commoncrawl.org)
- 首次出现
- 2023-12-07 17:28:57
- 最后出现
- 2023-12-07 23:39:49
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 52.71.252.250 |
ec2-52-71-252-250.compute-1.amazonaws.com |
US |
- 用户代理字符串
- CCBot/3.1 (https://commoncrawl.org/faq/; info@commoncrawl.org)
- 首次出现
- 2021-07-06 14:20:41
- 最后出现
- 2021-11-09 15:43:50
- 遵循robots.txt
- 否
- 来源
-
| IP地址(2) |
服务器名称 |
所属国家 |
| 109.157.173.191 |
host109-157-173-191.range109-157.btcentralplus.com |
GB |
| 193.191.148.194 |
wall.nat.iminds.be |
BE |
- 用户代理字符串
- CCBot/2.0 (http://commoncrawl.org/faq/)
- 首次出现
- 2014-03-07 01:55:00
- 最后出现
- 2018-07-23 19:16:34
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(10) |
服务器名称 |
所属国家 |
| 54.198.119.26 |
ec2-54-198-119-26.compute-1.amazonaws.com |
US |
| 54.92.163.188 |
ec2-54-92-163-188.compute-1.amazonaws.com |
US |
| 23.20.223.212 |
ec2-23-20-223-212.compute-1.amazonaws.com |
US |
| 54.225.17.239 |
ec2-54-225-17-239.compute-1.amazonaws.com |
US |
| 54.198.3.15 |
ec2-54-198-3-15.compute-1.amazonaws.com |
US |
- 用户代理字符串
- CCBot/2.0
- 首次出现
- 2013-08-23 08:10:00
- 最后出现
- 2013-12-22 10:50:06
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(560) |
服务器名称 |
所属国家 |
| 18.204.56.185 |
ec2-18-204-56-185.compute-1.amazonaws.com |
US |
| 34.236.192.4 |
ec2-34-236-192-4.compute-1.amazonaws.com |
? |
| 3.238.204.167 |
ec2-3-238-204-167.compute-1.amazonaws.com |
US |
| 3.229.117.123 |
ec2-3-229-117-123.compute-1.amazonaws.com |
US |
| 3.238.225.8 |
ec2-3-238-225-8.compute-1.amazonaws.com |
US |
- 用户代理字符串
- CCBot/2.0
- 首次出现
- 2013-08-23 08:10:00
- 最后出现
- 2013-12-22 10:50:06
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(10) |
服务器名称 |
所属国家 |
| 54.235.20.17 |
ec2-54-235-20-17.compute-1.amazonaws.com |
US |
| 50.16.132.180 |
ec2-50-16-132-180.compute-1.amazonaws.com |
US |
| 107.21.186.38 |
ec2-107-21-186-38.compute-1.amazonaws.com |
US |
| 67.202.18.97 |
ec2-67-202-18-97.compute-1.amazonaws.com |
US |
| 54.234.29.117 |
ec2-54-234-29-117.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (Mobile; rv:18.0) Gecko/18.0 Firefox/18.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出现
- 2013-09-20 07:33:08
- 最后出现
- 2013-11-05 08:22:58
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(7) |
服务器名称 |
所属国家 |
| 50.17.95.55 |
ec2-50-17-95-55.compute-1.amazonaws.com |
US |
| 23.22.185.34 |
ec2-23-22-185-34.compute-1.amazonaws.com |
US |
| 75.101.211.73 |
ec2-75-101-211-73.compute-1.amazonaws.com |
US |
| 184.73.4.237 |
ec2-184-73-4-237.compute-1.amazonaws.com |
US |
| 54.211.91.174 |
ec2-54-211-91-174.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (Android; Mobile; rv:21.0) Gecko/21.0 Firefox/21.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出现
- 2013-09-20 08:17:46
- 最后出现
- 2013-11-05 07:06:32
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(11) |
服务器名称 |
所属国家 |
| 23.22.185.34 |
ec2-23-22-185-34.compute-1.amazonaws.com |
US |
| 50.17.95.55 |
ec2-50-17-95-55.compute-1.amazonaws.com |
US |
| 54.204.238.220 |
ec2-54-204-238-220.compute-1.amazonaws.com |
US |
| 54.205.9.186 |
ec2-54-205-9-186.compute-1.amazonaws.com |
US |
| 54.211.62.153 |
ec2-54-211-62-153.compute-1.amazonaws.com |
US |
- 用户代理字符串
- Mozilla/5.0 (Android; Mobile; rv:21.0) Gecko/21.0 Firefox/21.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出现
- 2013-09-20 08:17:46
- 最后出现
- 2013-11-05 07:06:32
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(9) |
服务器名称 |
所属国家 |
| 23.22.185.34 |
ec2-23-22-185-34.compute-1.amazonaws.com |
US |
| 50.17.95.55 |
ec2-50-17-95-55.compute-1.amazonaws.com |
US |
| 75.101.211.73 |
ec2-75-101-211-73.compute-1.amazonaws.com |
US |
| 54.224.224.44 |
ec2-54-224-224-44.compute-1.amazonaws.com |
US |
| 184.73.4.237 |
ec2-184-73-4-237.compute-1.amazonaws.com |
US |
- 用户代理字符串
- CCResearchBot/1.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出现
- 2013-08-23 08:15:00
- 最后出现
- 2013-08-22 00:14:19
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 54.211.116.192 |
ec2-54-211-116-192.compute-1.amazonaws.com |
US |
- 用户代理字符串
- CCBot/1.0 (+http://www.commoncrawl.org/bot.html)
- 首次出现
- 2009-05-11 05:50:00
- 最后出现
- 2012-05-24 16:38:11
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(33) |
服务器名称 |
所属国家 |
| 38.107.179.201 |
? |
US |
| 38.107.179.200 |
38.107.179.200 |
US |
| 38.107.179.226 |
38.107.179.226 |
US |
| 38.107.191.109 |
38.107.191.109 |
US |
| 38.103.63.56 |
38.103.63.56 |
US |
访问控制
了解如何控制CCBot访问权限，避免CCBot抓取行为不当。
是否拦截CCBot？
这取决于你。AI数据采集器器通常会下载公开可用的互联网内容，这些内容默认情况下可以免费访问。不过，如果你担心归属问题或你的创意作品如何被用于生成的人工智能模型中，你可以拦截它们。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 CCBot 或限制其访问权限。我们建议安装 Spider Analyser
插件，以检查它是否真正遵循这些规则。
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: CCBot
Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
