
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(10) | 伺服器名稱 | 所屬國家 |
---|---|---|
23.105.39.125 | c2.linktiger.com | US |
108.62.121.202 | c1.linktiger.com | US |
207.244.112.204 | c06.linktiger.com | US |
207.244.112.219 | c01.linktiger.com | US |
207.244.103.103 | c04.linktiger.com | US |
207.244.75.68 | c05.linktiger.com | US |
207.244.68.67 | c02.linktiger.com | US |
207.244.103.130 | c03.linktiger.com | US |
207.244.96.142 | c07.linktiger.com | US |
207.244.96.112 | c08.linktiger.com | US |
IP地址(10) | 伺服器名稱 | 所屬國家 |
---|---|---|
108.62.121.202 | c1.linktiger.com | US |
23.105.39.125 | c2.linktiger.com | US |
207.244.112.204 | c06.linktiger.com | US |
207.244.112.219 | c01.linktiger.com | US |
207.244.103.103 | c04.linktiger.com | US |
207.244.75.68 | c05.linktiger.com | US |
207.244.68.67 | c02.linktiger.com | US |
207.244.103.130 | c03.linktiger.com | US |
207.244.96.142 | c07.linktiger.com | US |
207.244.96.112 | c08.linktiger.com | US |
IP地址(21) | 伺服器名稱 | 所屬國家 |
---|---|---|
207.244.103.103 | c04.linktiger.com | US |
207.244.75.68 | c05.linktiger.com | US |
207.244.97.160 | a1.linktiger.com | US |
207.244.96.142 | c07.linktiger.com | US |
207.244.112.219 | c01.linktiger.com | US |
207.244.68.67 | c02.linktiger.com | US |
207.244.112.204 | c06.linktiger.com | US |
207.244.96.112 | c08.linktiger.com | US |
207.244.103.130 | c03.linktiger.com | US |
207.244.67.13 | m3.linktiger.com | US |
通常不需要。連結檢測類爬蟲的爬取行為一般也不是自發性的,僅當認為提交網站連結檢測請求,這些爬蟲才會對網站的連結進行抓取和檢測。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 LinkTiger 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: LinkTiger Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
LinkTiger是一項幫助站長們管理網站的線上服務。該工具可以幫助我們輕鬆識別站長所管理的許多網站上的斷裂連結和其他常見的連結問題。
使用LINKTIGER的儀表盤,您可以快速瞭解網站的連結完整性。向下鑽取任何圖表以檢視詳細報告,其中列出了各個連結及其狀態。使用 LinkTiger 的有用嚮導,可以輕鬆地將新域新增到儀表盤。
連結老虎所做的不僅僅是為您提供問題連結的報告。單擊報表條目將同時載入原始碼檢視以及呈現的網頁。斷開的連結在兩個檢視中都清楚地突出顯示,以便您可以輕鬆發現並修復它。
檢視斷開連結的詳細報告 – 不僅在您網站的HTML頁面中,而且在PDF檔案,flash動畫,CSS,XML,影象檔案,資料庫和MS-Office文件中。LINKTIGER 甚至會掃描您站點的安全區域(內部網和客戶端登入頁面)以查詢斷開的連結。所有報告都可以列印、匯出或通過電子郵件傳送。
使用LINKTIGER的電子郵件通知選項,當您網站上的連結出現問題時,您將收到實時通知。該電子郵件將告訴您已掃描了多少連結以及發現了多少問題。