
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(43) | 伺服器名稱 | 所屬國家 |
---|---|---|
54.161.132.191 | ec2-54-161-132-191.compute-1.amazonaws.com | US |
54.236.44.189 | ec2-54-236-44-189.compute-1.amazonaws.com | US |
54.255.224.21 | ec2-54-255-224-21.ap-southeast-1.compute.amazonaws.com | SG |
13.231.104.201 | ec2-13-231-104-201.ap-northeast-1.compute.amazonaws.com | JP |
34.216.232.59 | ec2-34-216-232-59.us-west-2.compute.amazonaws.com | US |
52.53.198.223 | ec2-52-53-198-223.us-west-1.compute.amazonaws.com | US |
54.255.219.238 | ec2-54-255-219-238.ap-southeast-1.compute.amazonaws.com | SG |
34.240.119.241 | ec2-34-240-119-241.eu-west-1.compute.amazonaws.com | IE |
52.25.83.9 | ec2-52-25-83-9.us-west-2.compute.amazonaws.com | US |
54.169.93.182 | ec2-54-169-93-182.ap-southeast-1.compute.amazonaws.com | SG |
IP地址(1) | 伺服器名稱 | 所屬國家 |
---|---|---|
54.208.147.247 | ec2-54-208-147-247.compute-1.amazonaws.com | US |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
52.67.215.11 | ec2-52-67-215-11.sa-east-1.compute.amazonaws.com | BR |
18.231.46.128 | ec2-18-231-46-128.sa-east-1.compute.amazonaws.com | BR |
IP地址(18) | 伺服器名稱 | 所屬國家 |
---|---|---|
52.12.133.143 | ec2-52-12-133-143.us-west-2.compute.amazonaws.com | US |
54.232.59.96 | ec2-54-232-59-96.sa-east-1.compute.amazonaws.com | BR |
54.211.91.101 | ec2-54-211-91-101.compute-1.amazonaws.com | US |
54.94.26.115 | ec2-54-94-26-115.sa-east-1.compute.amazonaws.com | BR |
52.12.29.125 | ec2-52-12-29-125.us-west-2.compute.amazonaws.com | US |
54.155.106.96 | ec2-54-155-106-96.eu-west-1.compute.amazonaws.com | IE |
54.184.10.225 | ec2-54-184-10-225.us-west-2.compute.amazonaws.com | US |
54.151.32.226 | ec2-54-151-32-226.us-west-1.compute.amazonaws.com | US |
54.155.113.27 | ec2-54-155-113-27.eu-west-1.compute.amazonaws.com | IE |
177.71.242.5 | ec2-177-71-242-5.sa-east-1.compute.amazonaws.com | BR |
54.197.157.134 | ec2-54-197-157-134.compute-1.amazonaws.com | US |
IP地址(6) | 伺服器名稱 | 所屬國家 |
---|---|---|
54.151.200.79 | ec2-54-151-200-79.ap-southeast-1.compute.amazonaws.com | SG |
54.170.100.36 | ec2-54-170-100-36.eu-west-1.compute.amazonaws.com | IE |
54.179.23.238 | ec2-54-179-23-238.ap-southeast-1.compute.amazonaws.com | SG |
54.193.187.45 | ec2-54-193-187-45.us-west-1.compute.amazonaws.com | US |
IP地址(6) | 伺服器名稱 | 所屬國家 |
---|---|---|
54.254.78.30 | ec2-54-254-78-30.ap-southeast-1.compute.amazonaws.com | SG |
54.66.51.115 | ec2-54-66-51-115.ap-southeast-2.compute.amazonaws.com | AU |
54.71.196.232 | ec2-54-71-196-232.us-west-2.compute.amazonaws.com | US |
一般不攔截。此類爬蟲通常由諸如Pingdom, Gtmetrix和PageSpeed Insights等網站測速工具發起,且一般為網站所有者所為。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 LoadImpact 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: LoadImpact Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
由於k6開源負載測試工具的成功和快速增長,LoadImpact已重新命名為k6。如果你訪問LoadImpact官網將會提示跳轉至k6。