FacebookBot

FacebookBot蜘蛛/爬虫属于AI数据采集类型,由Meta开发运行。您可以继续阅读下方信息,以深入了解FacebookBot基本信息,用户代理和访问控制等。

基本信息

FacebookBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
FacebookBot
类型
AI数据采集 , AI搜索爬虫
开发商
Meta
当前状态
活动

用户代理

关于FacebookBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
meta-externalagent/1.1
用户代理字符串
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
首次出现
2024-07-19 03:00:09
最后出现
2025-01-10 04:35:03
遵循robots.txt
未知
来源
IP地址(283) 服务器名称 所属国家
2a03:2880:2ff:74::face:b00c fwdproxy-cco-116.fbsv.net US
2a03:2880:f804:12:: 2a03:2880:f804:12:: US
2a03:2880:f804:d:: 2a03:2880:f804:d:: US
2a03:2880:2ff:70::face:b00c fwdproxy-cco-112.fbsv.net US
2a03:2880:13ff:5::face:b00c fwdproxy-pnb-005.fbsv.net US
用户代理字符串
cortex/1.0
首次出现
2018-01-11 16:33:10
最后出现
2024-05-29 06:37:36
遵循robots.txt
未知
来源
IP地址(52) 服务器名称 所属国家
2a03:2880:10ff:2::face:b00c 2a03:2880:10ff:2::face:b00c IE
2a03:2880:23ff:74::face:b00c fwdproxy-nao-116.fbsv.net US
2a03:2880:20ff:6::face:b00c 2a03:2880:20ff:6::face:b00c IE
2a03:2880:30ff:12::face:b00c 2a03:2880:30ff:12::face:b00c IE
2a03:2880:31ff:d::face:b00c 2a03:2880:31ff:d::face:b00c IE
用户代理字符串
facebookexternalhit/1.1
首次出现
2010-11-19 23:07:20
最后出现
2022-08-19 08:50:07
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
62.212.89.186 62.212.89.186 NL
46.246.106.45 46.246.106.45 DK
3.88.160.117 ec2-3-88-160-117.compute-1.amazonaws.com US
54.211.239.193 ec2-54-211-239-193.compute-1.amazonaws.com US
52.87.245.176 ec2-52-87-245-176.compute-1.amazonaws.com US
用户代理字符串
adreview/1.0
首次出现
2019-06-24 15:09:58
最后出现
2021-12-06 07:47:10
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
31.13.103.24 fwdproxy-odn-024.fbsv.net IE
31.13.103.7 fwdproxy-odn-007.fbsv.net IE
2a03:2880:21ff:f::face:b00c 2a03:2880:21ff:f::face:b00c IE
31.13.103.117 fwdproxy-odn-117.fbsv.net IE
31.13.103.17 fwdproxy-odn-017.fbsv.net IE
用户代理字符串
facebookplatform/1.0 (+http://developers.facebook.com)
首次出现
2012-11-13 20:50:00
最后出现
2020-10-18 11:48:05
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
31.13.99.122 31.13.99.122 SE
31.13.99.99 31.13.99.99 SE
31.13.99.98 31.13.99.98 SE
66.220.146.29 66.220.146.29 US
66.220.146.31 66.220.146.31 US
用户代理字符串
facebookexternalhit/1.1 ( http://www.facebook.com/externalhit_uatext.php)
首次出现
2018-10-08 10:17:12
最后出现
2020-04-22 10:11:06
遵循robots.txt
来源
IP地址(775) 服务器名称 所属国家
173.252.83.19 ? US
173.252.83.21 ? US
69.171.249.23 fwdproxy-ldc-023.fbsv.net US
69.171.249.24 fwdproxy-ldc-024.fbsv.net US
2a03:2880:27ff:6::face:b00c fwdproxy-ldc-006.fbsv.net US
用户代理字符串
facebookexternalhit/1.1 ( http://www.facebook.com/externalhit_uatext.php)
首次出现
2018-10-08 10:17:12
最后出现
2020-04-22 10:11:06
遵循robots.txt
未知
用户代理字符串
facebookexternalua
首次出现
2019-06-18 05:42:39
最后出现
2019-06-18 05:42:39
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
173.252.127.55 173.252.127.55 US
173.252.127.54 173.252.127.54 US
66.220.149.45 66.220.149.45 US
69.63.188.217 69.63.188.217 US
66.220.156.146 66.220.156.146 US
用户代理字符串
visionutils/0.2
首次出现
2014-11-10 08:22:09
最后出现
2017-06-20 03:35:33
遵循robots.txt
来源
IP地址(2) 服务器名称 所属国家
2a03:2880:20:9ff1:face:b00c:0:1 2a03:2880:20:9ff1:face:b00c:0:1 IE
2a03:2880:20:9ff2:face:b00c:0:1 2a03:2880:20:9ff2:face:b00c:0:1 IE
用户代理字符串
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
首次出现
2009-05-11 05:50:00
最后出现
2015-08-22 05:25:17
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
173.252.88.185 173.252.88.185 US
173.252.110.114 173.252.110.114 US
69.171.237.112 ? US
69.171.230.118 ? US
173.252.120.115 ? US
用户代理字符串
Facebot/1.0
首次出现
2014-03-10 08:16:48
最后出现
2014-09-16 21:50:49
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
66.220.159.118 ? US
66.220.159.115 ? US
66.220.159.114 ? US
66.220.159.117 rx117.tfbnw.net US
66.220.159.112 ? US

访问控制

了解如何控制FacebookBot访问权限,避免FacebookBot抓取行为不当。

是否拦截FacebookBot?

这取决于你。AI数据采集器器通常会下载公开可用的互联网内容,这些内容默认情况下可以免费访问。不过,如果你担心归属问题或你的创意作品如何被用于生成的人工智能模型中,你可以拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 FacebookBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: FacebookBot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
Databricks crawler
Databricks crawler蜘蛛/爬虫属于AI数据采集类型,由Databricks, Inc.开发运行。您可以继续阅读下方信息,以深入了解Databricks crawler基本信息,用户代理和访问控制等。
Umai-Scanner
Umai-Scanner蜘蛛/爬虫属于AI数据采集类型,由Entelijan Inc开发运行。您可以继续阅读下方信息,以深入了解Umai-Scanner基本信息,用户代理和访问控制等。
Amazing bot
Amazing bot蜘蛛/爬虫属于AI数据采集类型,由Amazing.com Inc.开发运行。您可以继续阅读下方信息,以深入了解Amazing bot基本信息,用户代理和访问控制等。
SaaSBrowserBot
SaaSBrowserBot蜘蛛/爬虫属于AI数据采集类型,由Two Phase, LLC开发运行。您可以继续阅读下方信息,以深入了解SaaSBrowserBot基本信息,用户代理和访问控制等。
Cotoyogi
Cotoyogi蜘蛛/爬虫属于AI数据采集类型,由Center for Research and Development on Data Lake开发运行。您可以继续阅读下方信息,以深入了解Cotoyogi基本信息,用户代理和访问控制等。
PanguBot
PanguBot蜘蛛/爬虫属于AI数据采集类型,由Huawei Technologies Co., Ltd.开发运行。您可以继续阅读下方信息,以深入了解PanguBot基本信息,用户代理和访问控制等。
Hive
Hive蜘蛛/爬虫属于AI数据采集类型,由Castle Global, Inc.开发运行。您可以继续阅读下方信息,以深入了解Hive基本信息,用户代理和访问控制等。
Gemini bot
Gemini bot蜘蛛/爬虫属于AI数据采集类型,由Google Inc.开发运行。您可以继续阅读下方信息,以深入了解Gemini bot基本信息,用户代理和访问控制等。

相关文章

Related Articles