如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(22) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 96.126.106.201 | wk1-1.hetrixtools.com | US |
| 23.106.120.205 | wk6-5.hetrixtools.com | SG |
| 188.166.79.172 | wk3-2.hetrixtools.com | NL |
| 52.23.120.125 | wk1-2.hetrixtools.com | US |
| 172.241.23.225 | wk1-6.hetrixtools.com | US |
| 138.197.17.201 | wk1-3.hetrixtools.com | US |
| 209.222.107.178 | wk1-7.hetrixtools.com | US |
| 45.76.150.238 | wk6-3.hetrixtools.com | SG |
| 172.107.226.134 | wk3-4.hetrixtools.com | NL |
| 45.76.202.144 | wk10-1.hetrixtools.com | JP |
| 128.199.187.77 | wk6-2.hetrixtools.com | SG |
| 23.226.128.254 | wk1-8.hetrixtools.com | US |
| 172.104.99.63 | wk10-2.hetrixtools.com | JP |
| 149.28.50.248 | wk1-5.hetrixtools.com | US |
| 51.158.156.63 | wk3-5.hetrixtools.com | FR |
| 139.162.22.205 | wk6-1.hetrixtools.com | SG |
| 52.65.182.14 | wk8.hetrixtools.com | AU |
| 13.93.49.243 | ? | NL |
| 139.99.169.250 | wk8-2.hetrixtools.com | AU |
| 51.15.61.222 | wk3-1.hetrixtools.com | NL |
| 52.207.41.187 | wk1.hetrixtools.com | US |
| 45.76.120.140 | wk8-1.hetrixtools.com | AU |
| 40.113.121.72 | ? | NL |
| 37.48.96.90 | wk3-3.hetrixtools.com | NL |
| 172.107.201.78 | wk10-3.hetrixtools.com | JP |
| 51.79.156.91 | wk6-4.hetrixtools.com | CA |
| 52.221.91.160 | ec2-52-221-91-160.ap-southeast-1.compute.amazonaws.com | SG |
| 95.179.139.97 | wk3.hetrixtools.com | NL |
| 66.165.247.154 | wk1-4.hetrixtools.com | US |
| 216.238.100.86 | wk9-3.hetrixtools.com | US |
| 146.59.0.13 | wk12.hetrixtools.com | FR |
| 104.237.139.48 | wk7.hetrixtools.com | US |
| 178.162.208.86 | wk5-4.hetrixtools.com | DE |
| 189.1.173.35 | wk9-4.hetrixtools.com | BR |
| 192.248.181.140 | wk5-5.hetrixtools.com | DE |
| 45.35.33.30 | wk7-4.hetrixtools.com | US |
| 70.34.249.133 | wk12-1.hetrixtools.com | US |
| 172.241.24.83 | wk7-3.hetrixtools.com | US |
| 104.41.61.219 | ? | BR |
| 78.46.88.58 | wk5-1.hetrixtools.com | DE |
| 23.227.169.50 | wk7-2.hetrixtools.com | IT |
| 51.195.46.219 | wk5-3.hetrixtools.com | FR |
| 5.22.223.148 | wk12-2.hetrixtools.com | FI |
| 91.239.130.97 | wk5-6.hetrixtools.com | DE |
| 52.67.204.189 | wk9.hetrixtools.com | BR |
| 94.16.112.18 | wk5-2.hetrixtools.com | DE |
| 50.3.181.10 | wk12-3.hetrixtools.com | DE |
| 103.88.233.41 | wk9-2.hetrixtools.com | BD |
| 96.44.142.174 | wk7-5.hetrixtools.com | US |
| 2.56.188.250 | wk7-4.hetrixtools.com | US |
| 45.32.204.172 | wk7-1.hetrixtools.com | US |
| 43.230.163.178 | wk10-4.hetrixtools.com | JP |
| 194.126.173.238 | wk3-4.hetrixtools.com | NL |
| 107.155.75.66 | 107-155-75-66.static.hvvc.us | SG |
| 23.106.230.203 | wk10-3.hetrixtools.com | JP |
| 194.49.53.65 | wk3-6.hetrixtools.com | NL |
| 52.199.17.123 | wk10.hetrixtools.com | JP |
| 194.33.45.219 | wk1-9.hetrixtools.com | US |
| IP地址(29) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.52.33.209 | wk2-1.hetrixtools.com | US |
| 104.237.139.48 | wk7.hetrixtools.com | US |
| 52.23.120.125 | wk1-2.hetrixtools.com | US |
| 45.32.204.172 | wk7-1.hetrixtools.com | US |
| 104.40.93.217 | ? | US |
| 52.207.73.67 | wk1-1.hetrixtools.com | US |
| 52.207.41.187 | wk1.hetrixtools.com | US |
| 13.64.238.90 | ? | US |
| 209.58.140.229 | wk2-2.hetrixtools.com | US |
| 40.113.121.72 | ? | NL |
| IP地址(22) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.65.182.14 | wk8.hetrixtools.com | AU |
| 96.126.106.201 | wk1-1.hetrixtools.com | US |
| 13.93.49.243 | ? | NL |
| 138.197.17.201 | wk1-3.hetrixtools.com | US |
| 139.99.169.250 | wk8-2.hetrixtools.com | AU |
| 52.23.120.125 | wk1-2.hetrixtools.com | US |
| 51.15.61.222 | wk3-1.hetrixtools.com | NL |
| 52.207.41.187 | wk1.hetrixtools.com | US |
| 45.76.120.140 | wk8-1.hetrixtools.com | AU |
| 40.113.121.72 | ? | NL |
通常不需要，如果您不需要此類監控服務，在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 HetrixTools crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: HetrixTools crawler Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
顯而易見，HetrixTools crawler是網站和伺服器監視器HetrixTools的爬蟲，用於監視網站伺服器的正常服務時間，以保證伺服器的正常執行。
HetrixTools crawler正常執行時間監測機器人正在使用以下使用者代理字串。
HetrixTools Uptime Monitoring Bot. https://hetrix.tools/uptime-monitoring-bot.html
正常執行時間監測機器人HetrixTools crawler將只使用以下IP地址之一。
https://docs.hetrixtools.com/uptime-monitoring-nodes/
如果你已經到達這個頁面，這可能意味著HetrixTools crawler已經訪問了你的網站，或者它正在不斷監測你的網站的正常執行時間。
這很可能是由於HetrixTools的一個使用者正在監測你的網站的正常執行時間。
如果你是網站所有者，並希望選擇退出HetrixTools訪問/監測你的網站，請務必立即聯絡HetrixTools。
或者你可以在你的防火牆中簡單地攔截HetrixTools crawler的監測IP地址。
https://docs.hetrixtools.com/uptime-monitoring-nodes/
