
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(44) | 伺服器名稱 | 所屬國家 |
---|---|---|
139.84.233.154 | ? | ? |
216.238.115.179 | 216-238-115-179.constant.com | ? |
139.84.226.113 | ? | ? |
136.244.76.83 | ? | ? |
139.84.235.186 | ? | ZA |
216.238.108.56 | ? | BR |
95.179.197.182 | ? | ? |
149.248.20.184 | ? | ? |
139.84.230.103 | ? | ZA |
139.84.227.166 | ? | ZA |
45.76.133.148 | ? | GB |
78.141.201.19 | ? | GB |
139.84.226.176 | ? | ZA |
139.84.237.238 | ? | ZA |
139.84.236.100 | ? | ZA |
45.32.182.29 | ? | ? |
216.238.120.43 | 216-238-120-43.constant.com | BR |
139.84.236.27 | ? | ZA |
216.238.117.201 | 216-238-117-201.constant.com | BR |
192.248.149.103 | ? | GB |
139.84.236.43 | ? | ? |
139.84.234.84 | ? | ? |
13.244.75.183 | ec2-13-244-75-183.af-south-1.compute.amazonaws.com | ZA |
216.238.108.51 | ? | BR |
216.238.107.134 | ? | BR |
209.250.229.41 | ? | GB |
216.238.107.148 | ? | ? |
45.76.143.108 | ? | GB |
139.84.237.244 | ? | ZA |
139.84.235.220 | ? | ZA |
216.238.118.88 | 216-238-118-88.constant.com | BR |
139.84.238.120 | ? | ZA |
139.84.237.150 | ? | ZA |
136.244.65.76 | ? | GB |
216.238.120.198 | 216-238-120-198.constant.com | BR |
78.141.199.62 | ? | GB |
216.238.112.70 | ? | BR |
139.84.226.158 | ? | ZA |
216.238.109.23 | ? | BR |
139.84.228.151 | ? | ZA |
45.77.59.102 | ? | GB |
216.238.99.176 | ? | BR |
139.84.238.171 | ? | ZA |
通常不需要,如果您不需要此類監控服務,在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 pulsetic.com bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: pulsetic.com bot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。