如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(56) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 66.23.202.26 | pinghostny.nodeping.com | US |
| 172.93.197.58 | pinghostil.nodeping.com | US |
| 192.154.102.130 | pinghostut.nodeping.com | US |
| 136.175.8.15 | pinghostaz.nodeping.com | US |
| 208.82.130.170 | pinghostpy.nodeping.com | US |
| 162.254.202.35 | pinghostfl.nodeping.com | US |
| 172.82.138.70 | pinghostnc.nodeping.com | US |
| 172.105.6.187 | pinghostot.nodeping.com | US |
| 209.205.207.243 | pinghostnj.nodeping.com | US |
| 107.161.26.107 | pinghostwa.nodeping.com | US |
| 173.248.161.42 | pinghostco.nodeping.com | US |
| 163.123.204.130 | pinghosttx.nodeping.com | US |
| 185.43.108.84 | pinghostny.nodeping.com | US |
| 64.79.76.50 | pinghostoh.nodeping.com | US |
| 209.212.145.34 | pinghostil.nodeping.com | US |
| 104.247.192.170 | pinghostca.nodeping.com | US |
| 5.104.78.90 | pinghostnv.nodeping.com | US |
| 72.46.131.14 | pinghostnv.nodeping.com | US |
| 5.226.139.158 | pinghostld.nodeping.com | GB |
| 112.213.38.162 | pinghostau.nodeping.com | AU |
| 2001:41d0:602:4e3::10 | pinghostpl.nodeping.com | FR |
| 180.149.230.17 | pinghostjp.nodeping.com | JP |
| 144.48.37.241 | pinghostam.nodeping.com | AU |
| 2001:1850:1:3:500::22 | pinghostil.nodeping.com | US |
| 163.47.21.47 | pinghostnz.nodeping.com | NZ |
| 217.182.201.227 | pinghostpl.nodeping.com | PL |
| 163.172.52.132 | pinghostfr.nodeping.com | FR |
通常不需要，如果您不需要此類監控服務，在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 NodePing 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: NodePing Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
