FacebookBot

FacebookBot蜘蛛/爬蟲屬於AI資料採集型別,由Meta開發執行。您可以繼續閱讀下方資訊,以深入瞭解FacebookBot基本資訊,使用者代理和訪問控制等。

基本資訊

FacebookBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
FacebookBot
型別
AI資料採集
開發商
Meta
當前狀態
活動

使用者代理

關於FacebookBot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
meta-externalagent/1.1
使用者代理字串
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
首次出現
2024-07-19 03:00:09
最後出現
2025-01-10 04:35:03
遵循robots.txt
未知
來源
IP地址(283) 伺服器名稱 所屬國家
2a03:2880:2ff:74::face:b00c fwdproxy-cco-116.fbsv.net US
2a03:2880:f804:12:: 2a03:2880:f804:12:: US
2a03:2880:f804:d:: 2a03:2880:f804:d:: US
2a03:2880:2ff:70::face:b00c fwdproxy-cco-112.fbsv.net US
2a03:2880:13ff:5::face:b00c fwdproxy-pnb-005.fbsv.net US
使用者代理字串
cortex/1.0
首次出現
2018-01-11 16:33:10
最後出現
2024-05-29 06:37:36
遵循robots.txt
未知
來源
IP地址(52) 伺服器名稱 所屬國家
2a03:2880:10ff:2::face:b00c 2a03:2880:10ff:2::face:b00c IE
2a03:2880:23ff:74::face:b00c fwdproxy-nao-116.fbsv.net US
2a03:2880:20ff:6::face:b00c 2a03:2880:20ff:6::face:b00c IE
2a03:2880:30ff:12::face:b00c 2a03:2880:30ff:12::face:b00c IE
2a03:2880:31ff:d::face:b00c 2a03:2880:31ff:d::face:b00c IE
使用者代理字串
facebookexternalhit/1.1
首次出現
2010-11-19 23:07:20
最後出現
2022-08-19 08:50:07
遵循robots.txt
未知
來源
IP地址(9) 伺服器名稱 所屬國家
62.212.89.186 62.212.89.186 NL
46.246.106.45 46.246.106.45 DK
3.88.160.117 ec2-3-88-160-117.compute-1.amazonaws.com US
54.211.239.193 ec2-54-211-239-193.compute-1.amazonaws.com US
52.87.245.176 ec2-52-87-245-176.compute-1.amazonaws.com US
使用者代理字串
adreview/1.0
首次出現
2019-06-24 15:09:58
最後出現
2021-12-06 07:47:10
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
31.13.103.24 fwdproxy-odn-024.fbsv.net IE
31.13.103.7 fwdproxy-odn-007.fbsv.net IE
2a03:2880:21ff:f::face:b00c 2a03:2880:21ff:f::face:b00c IE
31.13.103.117 fwdproxy-odn-117.fbsv.net IE
31.13.103.17 fwdproxy-odn-017.fbsv.net IE
使用者代理字串
facebookplatform/1.0 (+http://developers.facebook.com)
首次出現
2012-11-13 20:50:00
最後出現
2020-10-18 11:48:05
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
31.13.99.122 31.13.99.122 SE
31.13.99.99 31.13.99.99 SE
31.13.99.98 31.13.99.98 SE
66.220.146.29 66.220.146.29 US
66.220.146.31 66.220.146.31 US
使用者代理字串
facebookexternalhit/1.1 ( http://www.facebook.com/externalhit_uatext.php)
首次出現
2018-10-08 10:17:12
最後出現
2020-04-22 10:11:06
遵循robots.txt
來源
IP地址(775) 伺服器名稱 所屬國家
173.252.83.19 ? US
173.252.83.21 ? US
69.171.249.23 fwdproxy-ldc-023.fbsv.net US
69.171.249.24 fwdproxy-ldc-024.fbsv.net US
2a03:2880:27ff:6::face:b00c fwdproxy-ldc-006.fbsv.net US
使用者代理字串
facebookexternalhit/1.1 ( http://www.facebook.com/externalhit_uatext.php)
首次出現
2018-10-08 10:17:12
最後出現
2020-04-22 10:11:06
遵循robots.txt
未知
使用者代理字串
facebookexternalua
首次出現
2019-06-18 05:42:39
最後出現
2019-06-18 05:42:39
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
173.252.127.55 173.252.127.55 US
173.252.127.54 173.252.127.54 US
66.220.149.45 66.220.149.45 US
69.63.188.217 69.63.188.217 US
66.220.156.146 66.220.156.146 US
使用者代理字串
visionutils/0.2
首次出現
2014-11-10 08:22:09
最後出現
2017-06-20 03:35:33
遵循robots.txt
來源
IP地址(2) 伺服器名稱 所屬國家
2a03:2880:20:9ff1:face:b00c:0:1 2a03:2880:20:9ff1:face:b00c:0:1 IE
2a03:2880:20:9ff2:face:b00c:0:1 2a03:2880:20:9ff2:face:b00c:0:1 IE
使用者代理字串
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
首次出現
2009-05-11 05:50:00
最後出現
2015-08-22 05:25:17
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
173.252.88.185 173.252.88.185 US
173.252.110.114 173.252.110.114 US
69.171.237.112 ? US
69.171.230.118 ? US
173.252.120.115 ? US
使用者代理字串
Facebot/1.0
首次出現
2014-03-10 08:16:48
最後出現
2014-09-16 21:50:49
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
66.220.159.118 ? US
66.220.159.115 ? US
66.220.159.114 ? US
66.220.159.117 rx117.tfbnw.net US
66.220.159.112 ? US

訪問控制

瞭解如何控制FacebookBot訪問許可權,避免FacebookBot抓取行為不當。

是否攔截FacebookBot?

這取決於你。AI資料採集器器通常會下載公開可用的網際網路內容,這些內容預設情況下可以免費訪問。不過,如果你擔心歸屬問題或你的創意作品如何被用於生成的人工智慧模型中,你可以攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 FacebookBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: FacebookBot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Databricks crawler
Databricks crawler蜘蛛/爬蟲屬於AI資料採集型別,由Databricks, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Databricks crawler基本資訊,使用者代理和訪問控制等。
Umai-Scanner
Umai-Scanner蜘蛛/爬蟲屬於AI資料採集型別,由Entelijan Inc開發執行。您可以繼續閱讀下方資訊,以深入瞭解Umai-Scanner基本資訊,使用者代理和訪問控制等。
Amazing bot
Amazing bot蜘蛛/爬蟲屬於AI資料採集型別,由Amazing.com Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Amazing bot基本資訊,使用者代理和訪問控制等。
SaaSBrowserBot
SaaSBrowserBot蜘蛛/爬蟲屬於AI資料採集型別,由Two Phase, LLC開發執行。您可以繼續閱讀下方資訊,以深入瞭解SaaSBrowserBot基本資訊,使用者代理和訪問控制等。
Cotoyogi
Cotoyogi蜘蛛/爬蟲屬於AI資料採集型別,由Center for Research and Development on Data Lake開發執行。您可以繼續閱讀下方資訊,以深入瞭解Cotoyogi基本資訊,使用者代理和訪問控制等。
PanguBot
PanguBot蜘蛛/爬蟲屬於AI資料採集型別,由Huawei Technologies Co., Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解PanguBot基本資訊,使用者代理和訪問控制等。
Hive
Hive蜘蛛/爬蟲屬於AI資料採集型別,由Castle Global, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Hive基本資訊,使用者代理和訪問控制等。
Gemini bot
Gemini bot蜘蛛/爬蟲屬於AI資料採集型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Gemini bot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles