BrokenLinkCheck.com

BrokenLinkCheck.com蜘蛛/爬蟲屬於連結檢測型別,由brokenlinkcheck.com開發執行。您可以繼續閱讀下方資訊,以深入瞭解BrokenLinkCheck.com基本資訊,使用者代理和訪問控制等。

基本資訊

BrokenLinkCheck.com的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
BrokenLinkCheck.com
型別
連結檢測
開發商
brokenlinkcheck.com
當前狀態
活動

使用者代理

關於BrokenLinkCheck.com蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
brokenlinkcheck.com/1.2
使用者代理字串
Mozilla/5.0 (Windows NT 5.1) brokenlinkcheck.com/1.2
首次出現
2018-06-13 08:58:51
最後出現
2024-09-15 06:00:31
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
38.128.66.10 ? US
使用者代理字串
Mozilla/4.0 (compatible; MSIE 7.0; Windows; Windows NT 5.1) BrokenLinkCheck.com/1.1
首次出現
2014-12-19 22:32:28
最後出現
2017-01-23 08:24:45
遵循robots.txt
來源
IP地址(2) 伺服器名稱 所屬國家
192.187.97.42 ? US
162.251.61.232 232-61-251-162.clients.gthost.com US
74.91.22.74 74.91.22.74 US
74.91.22.74 74.91.22.74 US
96.43.131.26 proc2.softburg.com US
74.91.20.214 74.91.20.214 US
使用者代理字串
Mozilla/4.0 (compatible; MSIE 7.0; Windows; Windows NT 5.1) BrokenLinkCheck.com/1.1
首次出現
2014-12-19 22:32:28
最後出現
2017-01-23 08:24:45
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
96.43.131.26 proc2.softburg.com US
74.91.20.214 74.91.20.214 US

訪問控制

瞭解如何控制BrokenLinkCheck.com訪問許可權,避免BrokenLinkCheck.com抓取行為不當。

是否攔截BrokenLinkCheck.com?

通常不需要。連結檢測類爬蟲的爬取行為一般也不是自發性的,僅當認為提交網站連結檢測請求,這些爬蟲才會對網站的連結進行抓取和檢測。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 BrokenLinkCheck.com 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: BrokenLinkCheck.com
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: BrokenLinkCheck.com Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: BrokenLinkCheck.com
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

BrokenLinkCheck.com 是一個免費的線上網站驗證器/完整性檢查器/問題檢測工具,可以檢查您的網頁是否有死鏈,驗證、查詢和報告損壞的超連結(如果發現)。通過使用此BrokenLinkCheck網站及其服務,您同意受這些條款和條件的約束,這些條款和條件將在您首次使用本網站時立即生效。如果您不接受這些條款,則不得使用 brokenlinkcheck.com 檢查器及其其他服務。

這個免費的連結檢查器不僅可以驗證您的網站並告訴您頁面上的哪些網路引用已失效,而且還會向您顯示這些過時的超連結在您的HTML程式碼中的確切位置,突出顯示有問題的標籤。這一獨特的功能使我們的網路域檢查服務在其他可用的問題檢測工具中脫穎而出 – 使網站管理員可以輕鬆找到不良URL並立即清理它們。

線上網站驗證工具只報告真正損壞的內容 – 不像其他流行的解決方案,將好的和壞的超連結都混合在一起,這使得很難理解和處理這種“嘈雜”的資訊。此外,此連結問題查詢器會分析整個站點 – 其整個網路內容,跟蹤已報告的問題,並且除非您特別詢問,否則不會重複相同的無效 URL:這個免費的 URL 檢查器工具非常靈活!

常見蜘蛛/爬蟲

Common Spiders
LinkChecker Pro bot
LinkChecker Pro bot蜘蛛/爬蟲屬於連結檢測型別,由Local Profy LLC開發執行。您可以繼續閱讀下方資訊,以深入瞭解LinkChecker Pro bot基本資訊,使用者代理和訪問控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬蟲屬於監控型別,由AITIS s.r.o.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Online Domain Tools基本資訊,使用者代理和訪問控制等。
UASlinkChecker
UASlinkChecker蜘蛛/爬蟲屬於連結檢測型別,由Udger s.r.o.開發執行。您可以繼續閱讀下方資訊,以深入瞭解UASlinkChecker基本資訊,使用者代理和訪問控制等。
WPMU DEV crawler
WPMU DEV crawler蜘蛛/爬蟲屬於連結檢測型別,由Incsub, LLC開發執行。您可以繼續閱讀下方資訊,以深入瞭解WPMU DEV crawler基本資訊,使用者代理和訪問控制等。
Wikipedia crawler
Wikipedia crawler蜘蛛/爬蟲屬於連結檢測型別,由Wikimedia Foundation Inc開發執行。您可以繼續閱讀下方資訊,以深入瞭解Wikipedia crawler基本資訊,使用者代理和訪問控制等。
Dead Link Checker
Dead Link Checker蜘蛛/爬蟲屬於連結檢測型別,由Slogical Corporation開發執行。您可以繼續閱讀下方資訊,以深入瞭解Dead Link Checker基本資訊,使用者代理和訪問控制等。
Urlcheckr
Urlcheckr蜘蛛/爬蟲屬於連結檢測型別,由Device Independent開發執行。您可以繼續閱讀下方資訊,以深入瞭解Urlcheckr基本資訊,使用者代理和訪問控制等。
MB-SiteCrawler
MB-SiteCrawler蜘蛛/爬蟲屬於連結檢測型別,由Marco Beierer開發執行。您可以繼續閱讀下方資訊,以深入瞭解MB-SiteCrawler基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles