
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(10) | 伺服器名稱 | 所屬國家 |
---|---|---|
52.42.49.200 | ec2-52-42-49-200.us-west-2.compute.amazonaws.com | US |
35.173.69.86 | ec2-35-173-69-86.compute-1.amazonaws.com | US |
18.179.133.14 | ec2-18-179-133-14.ap-northeast-1.compute.amazonaws.com | JP |
18.130.156.195 | ec2-18-130-156-195.eu-west-2.compute.amazonaws.com | GB |
18.228.60.182 | ec2-18-228-60-182.sa-east-1.compute.amazonaws.com | BR |
13.232.175.73 | ec2-13-232-175-73.ap-south-1.compute.amazonaws.com | IN |
13.55.57.184 | ec2-13-55-57-184.ap-southeast-2.compute.amazonaws.com | AU |
52.60.140.174 | ec2-52-60-140-174.ca-central-1.compute.amazonaws.com | CA |
13.251.205.206 | ec2-13-251-205-206.ap-southeast-1.compute.amazonaws.com | SG |
34.246.131.0 | ec2-34-246-131-0.eu-west-1.compute.amazonaws.com | IE |
IP地址(5) | 伺服器名稱 | 所屬國家 |
---|---|---|
52.35.187.228 | ec2-52-35-187-228.us-west-2.compute.amazonaws.com | US |
13.228.225.54 | ec2-13-228-225-54.ap-southeast-1.compute.amazonaws.com | SG |
34.248.203.77 | ec2-34-248-203-77.eu-west-1.compute.amazonaws.com | US |
54.69.149.131 | insping.com | US |
通常不需要,如果您不需要此類監控服務,在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Freshworks bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Freshworks bot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。