如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 50.18.40.3 | ec2-50-18-40-3.us-west-1.compute.amazonaws.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 3.140.255.87 | ec2-3-140-255-87.us-east-2.compute.amazonaws.com | US |
| IP地址(6) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.177.191.132 | ec2-54-177-191-132.us-west-1.compute.amazonaws.com | US |
| 35.87.162.93 | ec2-35-87-162-93.us-west-2.compute.amazonaws.com | US |
| 54.193.70.223 | ec2-54-193-70-223.us-west-1.compute.amazonaws.com | US |
| 3.81.206.108 | ec2-3-81-206-108.compute-1.amazonaws.com | US |
| 3.238.104.175 | ec2-3-238-104-175.compute-1.amazonaws.com | US |
| 54.89.231.178 | ec2-54-89-231-178.compute-1.amazonaws.com | US |
| IP地址(8) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 34.217.107.221 | ec2-34-217-107-221.us-west-2.compute.amazonaws.com | US |
| 54.183.248.19 | ec2-54-183-248-19.us-west-1.compute.amazonaws.com | US |
| 13.56.231.215 | ec2-13-56-231-215.us-west-1.compute.amazonaws.com | US |
| 54.214.62.0 | ec2-54-214-62-0.us-west-2.compute.amazonaws.com | US |
| 18.222.34.125 | ec2-18-222-34-125.us-east-2.compute.amazonaws.com | US |
| 52.53.190.11 | ec2-52-53-190-11.us-west-1.compute.amazonaws.com | US |
| 44.228.131.48 | ec2-44-228-131-48.us-west-2.compute.amazonaws.com | US |
| 3.17.146.122 | ec2-3-17-146-122.us-east-2.compute.amazonaws.com | US |
可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 ISSCyberRiskCrawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: ISSCyberRiskCrawler Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
