如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(8) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 67.55.66.204 | ny.websitepulse.net | US |
| 69.20.69.148 | wa.websitepulse.net | US |
| 111.67.5.249 | me.websitepulse.net | AU |
| 80.241.208.105 | mh.websitepulse.net | DE |
| 173.225.121.172 | ny.websitepulse.net | US |
| 193.200.241.229 | mh.websitepulse.net | DE |
| 104.130.172.12 | wa.websitepulse.net | US |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 5.189.129.187 | mhb.websitepulse.net | DE |
| 66.132.174.139 | mib.websitepulse.net | CA |
| 206.225.11.180 | s180.710lc.hostirian.com | US |
| IP地址(6) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 67.55.66.204 | ny.websitepulse.net | US |
| 111.67.5.249 | me.websitepulse.net | AU |
| 80.241.208.105 | mh.websitepulse.net | DE |
| 173.225.121.172 | ny.websitepulse.net | US |
| 193.200.241.229 | mh.websitepulse.net | DE |
| 78.138.97.79 | de.websitepulse.net | DE |
通常不需要，如果您不需要此類監控服務，在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 websitepulse bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: websitepulse bot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
WebSitePulse提供監測服務，測試您的網站和伺服器及設計您自己的監控服務。
WebSitePulse是一家先進的、獨立的和遠端的網站和伺服器監控服務的領先供應商，使客戶能夠提高其關鍵任務的電子商務運營效率，並減少其網際網路交易失敗和收入損失的風險。
WebSitePulse領域包括：網站監測、伺服器監測、瀏覽器內監測、網路應用效能監測和管理、電子郵件系統監測與往返、網路監測、網路交易監測、漏洞監測、黑名單監測和SSL證書監測
