carbontxt crawler
基本信息
carbontxt crawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
carbontxt crawler
开发商
Green Web Foundation
当前状态
活动
用户代理
关于carbontxt crawler蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
CarbonTxtValidator/0.0.27
CarbonTxtValidator/0.0.27
gwf-carbon-txt-crawler/1.0
CarbonTxtValidator/0.0.25
carbontxt_crawler/1.0
用户代理字符串
CarbonTxtValidator/0.0.27 (https://carbontxt.org/tools/validator)
首次出现
2026-06-01 20:35:14
最后出现
2026-06-20 08:11:57
遵循robots.txt
否
来源
IP地址(2)
服务器名称
所属国家
2a01:4f9:c011:8441::1
2a01:4f9:c011:8441::1
FI
79.117.167.37
79-117-167-37.digimobil.es
ES
用户代理字符串
gwf-carbon-txt-crawler/1.0 (Web Crawler for the GreenSoftwareFoundation to measure the adoption of the carbon.txt initiative; https://carbontxt.org/; crawler@carbontxt.org)
首次出现
2026-06-16 07:52:00
最后出现
2026-06-16 14:24:57
遵循robots.txt
未知
来源
IP地址(1)
服务器名称
所属国家
46.62.134.217
?
DE
77.42.93.194
?
DE
82.37.196.189
aztw-34-b2-v4wan-166919-cust1212.vm26.cable.virginm.net
GB
用户代理字符串
CarbonTxtValidator/0.0.25 (https://carbontxt.org/tools/validator)
首次出现
2026-04-21 09:32:28
最后出现
2026-04-21 09:32:28
遵循robots.txt
否
来源
IP地址(2)
服务器名称
所属国家
79.117.156.208
79-117-156-208.digimobil.es
ES
用户代理字符串
carbontxt_crawler/1.0 (Crawler to detect the use of carbontxt directives and environmental reports; https://carbontxt.org/; carbontxt@digitalpebble.com)
首次出现
2026-04-10 23:05:42
最后出现
2026-04-11 05:19:12
遵循robots.txt
未知
来源
IP地址(1)
服务器名称
所属国家
82.37.196.189
aztw-34-b2-v4wan-166919-cust1212.vm26.cable.virginm.net
GB
访问控制
了解如何控制carbontxt crawler访问权限,避免carbontxt crawler抓取行为不当。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 carbontxt crawler 或限制其访问权限。我们建议安装 Spider Analyser
插件,以检查它是否真正遵循这些规则。
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: carbontxt crawler
Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。