如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(30) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 172.105.169.250 | li2078-250.members.linode.com | AU |
| 45.56.78.139 | li928-139.members.linode.com | US |
| 45.79.47.102 | li1146-102.members.linode.com | US |
| 139.162.109.252 | li1593-252.members.linode.com | JP |
| 143.42.97.213 | 143-42-97-213.ip.linodeusercontent.com | GB |
| 172.105.173.108 | li2082-108.members.linode.com | AU |
| 74.207.228.249 | li70-249.members.linode.com | US |
| 172.104.50.169 | 172-104-50-169.ip.linodeusercontent.com | SG |
| 23.88.41.31 | static.31.41.88.23.clients.your-server.de | DE |
| 172.104.109.161 | li1719-161.members.linode.com | JP |
| 143.42.97.120 | 143-42-97-120.ip.linodeusercontent.com | GB |
| 168.119.96.203 | static.203.96.119.168.clients.your-server.de | DE |
| 172.104.50.111 | 172-104-50-111.ip.linodeusercontent.com | SG |
| 45.33.100.21 | li1042-21.members.linode.com | US |
| 172.105.190.118 | li2144-118.members.linode.com | AU |
| 139.162.215.114 | 139-162-215-114.ip.linodeusercontent.com | GB |
| 139.162.121.238 | 139-162-121-238.ip.linodeusercontent.com | JP |
| 139.162.215.113 | 139-162-215-113.ip.linodeusercontent.com | GB |
| 139.162.58.253 | 139-162-58-253.ip.linodeusercontent.com | SG |
| 194.195.253.108 | 194-195-253-108.ip.linodeusercontent.com | AU |
| 194.195.253.114 | 194-195-253-114.ip.linodeusercontent.com | AU |
| 66.228.56.140 | 66-228-56-140.ip.linodeusercontent.com | US |
| 91.107.221.68 | static.68.221.107.91.clients.your-server.de | DE |
| 139.162.121.226 | 139-162-121-226.ip.linodeusercontent.com | JP |
| 168.119.178.203 | static.203.178.119.168.clients.your-server.de | DE |
| 194.195.253.111 | 194-195-253-111.ip.linodeusercontent.com | AU |
| 172.104.181.25 | 172-104-181-25.ip.linodeusercontent.com | SG |
| 66.228.53.233 | 66-228-53-233.ip.linodeusercontent.com | US |
| 66.228.56.189 | 66-228-56-189.ip.linodeusercontent.com | US |
| 69.164.207.190 | 69-164-207-190.ip.linodeusercontent.com | US |
通常不需要，如果您不需要此類監控服務，在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 BetterStack bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: BetterStack bot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
