FCCN crawler

FCCN crawler蜘蛛/爬蟲屬於其他型別,由FCCN開發執行。您可以繼續閱讀下方資訊,以深入瞭解FCCN crawler基本資訊,使用者代理和訪問控制等。

基本資訊

FCCN crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
FCCN crawler
型別
其他
開發商
FCCN
當前狀態
活動

使用者代理

關於FCCN crawler蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Arquivo-web-crawler
使用者代理字串
Arquivo-web-crawler (compatible; heritrix/3.4.0-20200304 +https://arquivo.pt/faq-crawling)
首次出現
2022-03-11 11:26:03
最後出現
2022-03-21 00:01:33
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
194.210.235.3 p97.arquivo.pt ?
使用者代理字串
Arquivo-web-crawler (compatible; brozzler/1.5 +http://arquivo.pt/faq-crawling)
首次出現
2021-02-15 20:27:12
最後出現
2021-12-10 09:44:19
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
194.210.235.17 p48.arquivo.pt PT
194.210.235.16 p54-pub.arquivo.pt PT
194.210.235.18 p49.arquivo.pt PT
194.210.235.6 p102.arquivo.pt PT
使用者代理字串
arquivo-web-crawler (compatible; heritrix)
首次出現
2020-04-27 04:12:21
最後出現
2020-04-27 04:12:21
遵循robots.txt
未知
使用者代理字串
arquivo-web-crawler (compatible; heritrix/3.4.0-20190418 +http://arquivo.pt)
首次出現
2020-02-17 18:41:35
最後出現
2020-04-11 23:03:54
遵循robots.txt
來源
IP地址(3) 伺服器名稱 所屬國家
193.136.192.160 p83.arquivo.pt PT
193.136.192.159 p82.arquivo.pt PT
193.136.192.56 p86.arquivo.pt PT
使用者代理字串
arquivo-web-crawler (compatible; heritrix/3.3.0-SNAPSHOT-2019-08-26T10:34:48Z +http://arquivo.pt)
首次出現
2019-09-13 06:48:57
最後出現
2020-01-13 04:30:51
遵循robots.txt
來源
IP地址(2) 伺服器名稱 所屬國家
193.136.192.159 p82.arquivo.pt PT
193.136.192.160 p83.arquivo.pt PT
使用者代理字串
arquivo-web-crawler (compatible; heritrix/3.3.0-SNAPSHOT-2018-05-28T10:30:31Z +http://arquivo.pt)
首次出現
2018-08-04 15:17:43
最後出現
2019-06-25 07:52:17
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
193.136.192.159 p82.arquivo.pt PT
193.136.192.149 p81.arquivo.pt PT
193.136.192.169 p84.arquivo.pt PT
使用者代理字串
Arquivo-web-crawler (compatible; heritrix/1.14.4 +http://arquivo.pt/faq-crawling)
首次出現
2017-06-15 11:24:16
最後出現
2017-06-24 13:15:42
遵循robots.txt
來源
IP地址(1) 伺服器名稱 所屬國家
194.210.235.5 p101.arquivo.pt PT
194.210.235.4 194.210.235.4 PT
194.210.235.6 p102.arquivo.pt PT
194.210.235.3 p97.arquivo.pt PT
194.210.235.17 p48.arquivo.pt PT
194.210.235.16 p54-pub.arquivo.pt PT
194.210.235.18 p49.arquivo.pt PT
193.136.192.160 p83.arquivo.pt PT
193.136.192.159 p82.arquivo.pt PT
193.136.192.56 p86.arquivo.pt PT
193.136.192.149 p81.arquivo.pt PT
193.136.192.169 p84.arquivo.pt PT
使用者代理字串
Arquivo-web-crawler (compatible; heritrix/1.14.4 +http://arquivo.pt/faq-crawling)
首次出現
2017-06-15 11:24:16
最後出現
2017-06-24 13:15:42
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
193.136.192.159 p82.arquivo.pt PT

訪問控制

瞭解如何控制FCCN crawler訪問許可權,避免FCCN crawler抓取行為不當。

是否攔截FCCN crawler?

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 FCCN crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: FCCN crawler
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: FCCN crawler Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: FCCN crawler
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Fraunhofer crawler
Fraunhofer crawler蜘蛛/爬蟲屬於其他型別,由Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Fraunhofer crawler基本資訊,使用者代理和訪問控制等。
companyspotter
companyspotter蜘蛛/爬蟲屬於其他型別,由CompanySpotter BV開發執行。您可以繼續閱讀下方資訊,以深入瞭解companyspotter基本資訊,使用者代理和訪問控制等。
DataForSeo bot
DataForSeo bot蜘蛛/爬蟲屬於其他型別,由DataForSEO OU開發執行。您可以繼續閱讀下方資訊,以深入瞭解DataForSeo bot基本資訊,使用者代理和訪問控制等。
CloudFlare crawler
CloudFlare crawler蜘蛛/爬蟲屬於其他型別,由CloudFlare, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解CloudFlare crawler基本資訊,使用者代理和訪問控制等。
Odin
Odin蜘蛛/爬蟲屬於其他型別,由Cyble, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Odin基本資訊,使用者代理和訪問控制等。
Chrome Privacy Preserving Prefetch Proxy
Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬蟲屬於其他型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Chrome Privacy Preserving Prefetch Proxy基本資訊,使用者代理和訪問控制等。
EFF crawler
EFF crawler蜘蛛/爬蟲屬於其他型別,由Electronic Frontier Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解EFF crawler基本資訊,使用者代理和訪問控制等。
Modat crawler
Modat crawler蜘蛛/爬蟲屬於其他型別,由Modat B.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Modat crawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles