CCBot
CCBot蜘蛛/爬蟲屬於AI資料採集型別，由CommonCrawl Foundation開發執行。您可以繼續閱讀下方資訊，以深入瞭解CCBot基本資訊，使用者代理和訪問控制等。
基本資訊
CCBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- CCBot
- 型別
- AI資料採集
- 開發商
-
CommonCrawl Foundation
- 當前狀態
-
活動
使用者代理
關於CCBot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
CCBot/3.0
-
CCBot/3.0
-
CCBot/3.1
-
CCBot/2.0
-
CCBot/2.0
-
CCBot/2.0
-
CCResearchBot
-
CCResearchBot
-
CCResearchBot
-
CCResearchBot/1.0
-
CCBot/1.0
- 使用者代理字串
- CCBot/3.0 (TEst crawl with StormCrawler; https://commoncrawl.org/faq/; info@commoncrawl.org)
- 首次出現
- 2023-12-07 17:28:57
- 最後出現
- 2023-12-07 23:39:49
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 52.71.252.250 |
ec2-52-71-252-250.compute-1.amazonaws.com |
US |
- 使用者代理字串
- CCBot/3.1 (https://commoncrawl.org/faq/; info@commoncrawl.org)
- 首次出現
- 2021-07-06 14:20:41
- 最後出現
- 2021-11-09 15:43:50
- 遵循robots.txt
- 否
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 109.157.173.191 |
host109-157-173-191.range109-157.btcentralplus.com |
GB |
| 193.191.148.194 |
wall.nat.iminds.be |
BE |
- 使用者代理字串
- CCBot/2.0 (http://commoncrawl.org/faq/)
- 首次出現
- 2014-03-07 01:55:00
- 最後出現
- 2018-07-23 19:16:34
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 54.198.119.26 |
ec2-54-198-119-26.compute-1.amazonaws.com |
US |
| 54.92.163.188 |
ec2-54-92-163-188.compute-1.amazonaws.com |
US |
| 23.20.223.212 |
ec2-23-20-223-212.compute-1.amazonaws.com |
US |
| 54.225.17.239 |
ec2-54-225-17-239.compute-1.amazonaws.com |
US |
| 54.198.3.15 |
ec2-54-198-3-15.compute-1.amazonaws.com |
US |
- 使用者代理字串
- CCBot/2.0
- 首次出現
- 2013-08-23 08:10:00
- 最後出現
- 2013-12-22 10:50:06
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(560) |
伺服器名稱 |
所屬國家 |
| 18.204.56.185 |
ec2-18-204-56-185.compute-1.amazonaws.com |
US |
| 34.236.192.4 |
ec2-34-236-192-4.compute-1.amazonaws.com |
? |
| 3.238.204.167 |
ec2-3-238-204-167.compute-1.amazonaws.com |
US |
| 3.229.117.123 |
ec2-3-229-117-123.compute-1.amazonaws.com |
US |
| 3.238.225.8 |
ec2-3-238-225-8.compute-1.amazonaws.com |
US |
- 使用者代理字串
- CCBot/2.0
- 首次出現
- 2013-08-23 08:10:00
- 最後出現
- 2013-12-22 10:50:06
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 54.235.20.17 |
ec2-54-235-20-17.compute-1.amazonaws.com |
US |
| 50.16.132.180 |
ec2-50-16-132-180.compute-1.amazonaws.com |
US |
| 107.21.186.38 |
ec2-107-21-186-38.compute-1.amazonaws.com |
US |
| 67.202.18.97 |
ec2-67-202-18-97.compute-1.amazonaws.com |
US |
| 54.234.29.117 |
ec2-54-234-29-117.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Mobile; rv:18.0) Gecko/18.0 Firefox/18.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出現
- 2013-09-20 07:33:08
- 最後出現
- 2013-11-05 08:22:58
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(7) |
伺服器名稱 |
所屬國家 |
| 50.17.95.55 |
ec2-50-17-95-55.compute-1.amazonaws.com |
US |
| 23.22.185.34 |
ec2-23-22-185-34.compute-1.amazonaws.com |
US |
| 75.101.211.73 |
ec2-75-101-211-73.compute-1.amazonaws.com |
US |
| 184.73.4.237 |
ec2-184-73-4-237.compute-1.amazonaws.com |
US |
| 54.211.91.174 |
ec2-54-211-91-174.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Android; Mobile; rv:21.0) Gecko/21.0 Firefox/21.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出現
- 2013-09-20 08:17:46
- 最後出現
- 2013-11-05 07:06:32
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(11) |
伺服器名稱 |
所屬國家 |
| 23.22.185.34 |
ec2-23-22-185-34.compute-1.amazonaws.com |
US |
| 50.17.95.55 |
ec2-50-17-95-55.compute-1.amazonaws.com |
US |
| 54.204.238.220 |
ec2-54-204-238-220.compute-1.amazonaws.com |
US |
| 54.205.9.186 |
ec2-54-205-9-186.compute-1.amazonaws.com |
US |
| 54.211.62.153 |
ec2-54-211-62-153.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (Android; Mobile; rv:21.0) Gecko/21.0 Firefox/21.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出現
- 2013-09-20 08:17:46
- 最後出現
- 2013-11-05 07:06:32
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(9) |
伺服器名稱 |
所屬國家 |
| 23.22.185.34 |
ec2-23-22-185-34.compute-1.amazonaws.com |
US |
| 50.17.95.55 |
ec2-50-17-95-55.compute-1.amazonaws.com |
US |
| 75.101.211.73 |
ec2-75-101-211-73.compute-1.amazonaws.com |
US |
| 54.224.224.44 |
ec2-54-224-224-44.compute-1.amazonaws.com |
US |
| 184.73.4.237 |
ec2-184-73-4-237.compute-1.amazonaws.com |
US |
- 使用者代理字串
- CCResearchBot/1.0 commoncrawl.org/research//Nutch-1.7-SNAPSHOT
- 首次出現
- 2013-08-23 08:15:00
- 最後出現
- 2013-08-22 00:14:19
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 54.211.116.192 |
ec2-54-211-116-192.compute-1.amazonaws.com |
US |
- 使用者代理字串
- CCBot/1.0 (+http://www.commoncrawl.org/bot.html)
- 首次出現
- 2009-05-11 05:50:00
- 最後出現
- 2012-05-24 16:38:11
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(33) |
伺服器名稱 |
所屬國家 |
| 38.107.179.201 |
? |
US |
| 38.107.179.200 |
38.107.179.200 |
US |
| 38.107.179.226 |
38.107.179.226 |
US |
| 38.107.191.109 |
38.107.191.109 |
US |
| 38.103.63.56 |
38.103.63.56 |
US |
訪問控制
瞭解如何控制CCBot訪問許可權，避免CCBot抓取行為不當。
是否攔截CCBot？
這取決於你。AI資料採集器器通常會下載公開可用的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你擔心歸屬問題或你的創意作品如何被用於生成的人工智慧模型中，你可以攔截它們。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 CCBot 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: CCBot
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
