如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(58) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 96.126.106.201 | wk1-1.hetrixtools.com | US |
| 23.106.120.205 | wk6-5.hetrixtools.com | SG |
| 188.166.79.172 | wk3-2.hetrixtools.com | NL |
| 52.23.120.125 | wk1-2.hetrixtools.com | US |
| 172.241.23.225 | wk1-6.hetrixtools.com | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.52.33.209 | wk2-1.hetrixtools.com | US |
| 104.237.139.48 | wk7.hetrixtools.com | US |
| 52.23.120.125 | wk1-2.hetrixtools.com | US |
| 45.32.204.172 | wk7-1.hetrixtools.com | US |
| 104.40.93.217 | ? | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.65.182.14 | wk8.hetrixtools.com | AU |
| 96.126.106.201 | wk1-1.hetrixtools.com | US |
| 13.93.49.243 | ? | NL |
| 138.197.17.201 | wk1-3.hetrixtools.com | US |
| 139.99.169.250 | wk8-2.hetrixtools.com | AU |
通常不需要，如果您不需要此類監控服務，在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 HetrixTools crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: HetrixTools crawler Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
顯而易見，HetrixTools crawler是網站和伺服器監視器HetrixTools的爬蟲，用於監視網站伺服器的正常服務時間，以保證伺服器的正常執行。
HetrixTools crawler正常執行時間監測機器人正在使用以下使用者代理字串。
HetrixTools Uptime Monitoring Bot. https://hetrix.tools/uptime-monitoring-bot.html
正常執行時間監測機器人HetrixTools crawler將只使用以下IP地址之一。
https://docs.hetrixtools.com/uptime-monitoring-nodes/
如果你已經到達這個頁面，這可能意味著HetrixTools crawler已經訪問了你的網站，或者它正在不斷監測你的網站的正常執行時間。
這很可能是由於HetrixTools的一個使用者正在監測你的網站的正常執行時間。
如果你是網站所有者，並希望選擇退出HetrixTools訪問/監測你的網站，請務必立即聯絡HetrixTools。
或者你可以在你的防火牆中簡單地攔截HetrixTools crawler的監測IP地址。
https://docs.hetrixtools.com/uptime-monitoring-nodes/
