
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(1) | 伺服器名稱 | 所屬國家 |
---|---|---|
38.128.66.10 | ? | US |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
192.187.97.42 | ? | US |
162.251.61.232 | 232-61-251-162.clients.gthost.com | US |
74.91.22.74 | 74.91.22.74 | US |
74.91.22.74 | 74.91.22.74 | US |
96.43.131.26 | proc2.softburg.com | US |
74.91.20.214 | 74.91.20.214 | US |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
96.43.131.26 | proc2.softburg.com | US |
74.91.20.214 | 74.91.20.214 | US |
通常不需要。連結檢測類爬蟲的爬取行為一般也不是自發性的,僅當認為提交網站連結檢測請求,這些爬蟲才會對網站的連結進行抓取和檢測。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 BrokenLinkCheck.com 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: BrokenLinkCheck.com Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
BrokenLinkCheck.com 是一個免費的線上網站驗證器/完整性檢查器/問題檢測工具,可以檢查您的網頁是否有死鏈,驗證、查詢和報告損壞的超連結(如果發現)。通過使用此BrokenLinkCheck網站及其服務,您同意受這些條款和條件的約束,這些條款和條件將在您首次使用本網站時立即生效。如果您不接受這些條款,則不得使用 brokenlinkcheck.com 檢查器及其其他服務。
這個免費的連結檢查器不僅可以驗證您的網站並告訴您頁面上的哪些網路引用已失效,而且還會向您顯示這些過時的超連結在您的HTML程式碼中的確切位置,突出顯示有問題的標籤。這一獨特的功能使我們的網路域檢查服務在其他可用的問題檢測工具中脫穎而出 – 使網站管理員可以輕鬆找到不良URL並立即清理它們。
線上網站驗證工具只報告真正損壞的內容 – 不像其他流行的解決方案,將好的和壞的超連結都混合在一起,這使得很難理解和處理這種“嘈雜”的資訊。此外,此連結問題查詢器會分析整個站點 – 其整個網路內容,跟蹤已報告的問題,並且除非您特別詢問,否則不會重複相同的無效 URL:這個免費的 URL 檢查器工具非常靈活!