
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(75) | 伺服器名稱 | 所屬國家 |
---|---|---|
168.119.226.26 | ? | DE |
159.69.10.73 | ? | DE |
49.12.204.115 | ? | DE |
49.12.225.9 | ? | DE |
195.201.33.85 | ? | DE |
142.132.172.9 | ? | DE |
167.235.21.207 | ? | DE |
94.130.78.186 | ? | DE |
159.69.213.215 | ? | DE |
94.130.76.81 | ? | DE |
49.12.205.179 | ? | DE |
116.203.105.53 | ? | DE |
195.201.36.235 | ? | DE |
5.75.153.140 | ? | DE |
116.203.109.115 | ? | DE |
167.235.69.60 | ? | DE |
188.34.200.45 | ? | DE |
116.203.123.180 | ? | DE |
195.201.0.84 | ? | DE |
91.107.228.181 | ? | IR |
195.201.30.223 | ? | DE |
162.55.220.98 | ? | DE |
94.54.80.130 | ? | TR |
通常不需要,如果您不需要此類監控服務,在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 WebGazer 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: WebGazer Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
正常執行時間監測,cron job監測和悅目的託管狀態頁面,為您的業務提供一個單一的工具WebGazer。你需要的一切,以保持你的業務執行不受干擾。
WebGazer使你能夠監控網站和REST API端點。它通過以可配置的頻率傳送HTTP請求來檢查服務的狀態,如果發現問題,就立即傳送通知。
為了防止警報疲勞,WebGazer在檢測到事件時進行額外的檢查,只有當事件被這些額外的檢查所證實時才會發出通知。