kb.dk_bot

kb.dk_bot蜘蛛/爬蟲屬於其他型別,由Det Kgl. Bibliotek開發執行。您可以繼續閱讀下方資訊,以深入瞭解kb.dk_bot基本資訊,使用者代理和訪問控制等。

基本資訊

kb.dk_bot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
kb.dk_bot
型別
其他
開發商
Det Kgl. Bibliotek
當前狀態
活動

使用者代理

關於kb.dk_bot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
kb.dk_bot
使用者代理字串
Mozilla/5.0 (compatible; kb.dk_bot; heritrix/3.4.0 +https://www.kb.dk/netarkivindsamling/) Firefox/57
首次出現
2021-02-27 04:19:05
最後出現
2021-02-27 05:19:23
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
130.226.228.73 kb-prod-har-002.kb.dk DK
使用者代理字串
Mozilla/5.0 (compatible; heritrix/1.14.4 +http://netarkivet.dk/webcrawler/)
首次出現
2014-03-09 21:29:35
最後出現
2016-02-25 09:37:36
遵循robots.txt
未知
來源
IP地址(9) 伺服器名稱 所屬國家
130.225.26.132 sb-prod-har-001.statsbiblioteket.dk DK
130.225.26.135 sb-prod-har-003.statsbiblioteket.dk DK
130.225.26.139 sb-prod-har-006.statsbiblioteket.dk DK
130.226.228.80 kb-prod-har-007.kb.dk DK
130.226.228.75 kb-prod-har-004.kb.dk DK
130.225.26.133 sb-prod-har-002.statsbiblioteket.dk DK
130.225.26.136 sb-prod-har-004.statsbiblioteket.dk DK
130.226.228.72 kb-prod-har-001.kb.dk DK
130.226.228.74 kb-prod-har-003.kb.dk DK
使用者代理字串
Mozilla/5.0 (compatible; heritrix/1.14.4 +http://netarkivet.dk/webcrawler)
首次出現
2014-09-19 16:38:59
最後出現
2015-01-09 20:42:37
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
130.226.222.211 ? DK
130.226.222.200 ? DK
130.226.222.210 ? DK
130.226.222.201 ? DK
130.226.228.12 ? DK
使用者代理字串
Mozilla/5.0 (compatible; heritrix/1.12.1b +http://netarkivet.dk/website/info.html)
首次出現
2009-10-23 23:36:27
最後出現
2012-04-17 04:51:15
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
130.226.228.72 kb-prod-har-001.kb.dk DK
130.226.228.73 kb-prod-har-002.kb.dk DK
130.226.228.75 kb-prod-har-004.kb.dk EU
130.226.228.74 kb-prod-har-003.kb.dk DK
130.225.26.132 sb-prod-har-001.statsbiblioteket.dk DK
130.225.26.135 sb-prod-har-003.statsbiblioteket.dk DK
130.225.26.139 sb-prod-har-006.statsbiblioteket.dk DK
130.225.26.136 sb-prod-har-004.statsbiblioteket.dk DK
130.226.228.80 kb-prod-har-007.kb.dk DK
130.225.26.133 sb-prod-har-002.statsbiblioteket.dk DK
130.226.222.200 ? DK
130.226.222.210 ? DK
130.226.222.201 ? DK
130.226.228.12 ? DK
130.226.222.211 ? DK
130.225.26.138 sb-prod-har-005.statsbiblioteket.dk DK
使用者代理字串
Mozilla/5.0 (compatible; heritrix/1.12.1b +http://netarkivet.dk/website/info.html)
首次出現
2009-10-23 23:36:27
最後出現
2012-04-17 04:51:15
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
130.226.228.73 kb-prod-har-002.kb.dk DK
130.226.228.75 kb-prod-har-004.kb.dk EU
130.225.26.132 sb-prod-har-001.statsbiblioteket.dk DK
130.225.26.133 sb-prod-har-002.statsbiblioteket.dk DK
130.225.26.138 sb-prod-har-005.statsbiblioteket.dk DK
130.225.26.139 sb-prod-har-006.statsbiblioteket.dk DK

訪問控制

瞭解如何控制kb.dk_bot訪問許可權,避免kb.dk_bot抓取行為不當。

是否攔截kb.dk_bot?

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 kb.dk_bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: kb.dk_bot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: kb.dk_bot Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: kb.dk_bot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Fraunhofer crawler
Fraunhofer crawler蜘蛛/爬蟲屬於其他型別,由Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Fraunhofer crawler基本資訊,使用者代理和訪問控制等。
companyspotter
companyspotter蜘蛛/爬蟲屬於其他型別,由CompanySpotter BV開發執行。您可以繼續閱讀下方資訊,以深入瞭解companyspotter基本資訊,使用者代理和訪問控制等。
DataForSeo bot
DataForSeo bot蜘蛛/爬蟲屬於其他型別,由DataForSEO OU開發執行。您可以繼續閱讀下方資訊,以深入瞭解DataForSeo bot基本資訊,使用者代理和訪問控制等。
CloudFlare crawler
CloudFlare crawler蜘蛛/爬蟲屬於其他型別,由CloudFlare, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解CloudFlare crawler基本資訊,使用者代理和訪問控制等。
Odin
Odin蜘蛛/爬蟲屬於其他型別,由Cyble, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Odin基本資訊,使用者代理和訪問控制等。
Chrome Privacy Preserving Prefetch Proxy
Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬蟲屬於其他型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Chrome Privacy Preserving Prefetch Proxy基本資訊,使用者代理和訪問控制等。
EFF crawler
EFF crawler蜘蛛/爬蟲屬於其他型別,由Electronic Frontier Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解EFF crawler基本資訊,使用者代理和訪問控制等。
Modat crawler
Modat crawler蜘蛛/爬蟲屬於其他型別,由Modat B.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Modat crawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles