如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(43) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 200.6.48.54 | 200.6.48.54 | BR |
| 200.6.48.74 | 200.6.48.74 | BR |
| 87.255.194.135 | 87.255.194.135 | KZ |
| 45.166.100.48 | 45.166.100.48 | MX |
| 102.131.60.115 | 102.131.60.115 | ZA |
| 185.85.239.13 | 13-164.86.185.ip.idealhosting.net.tr | TR |
| 173.231.185.164 | 173.231.185.164 | US |
| 72.46.130.218 | test.reverse.ptr | US |
| 5.189.172.158 | ip-158-172-189-5.static.contabo.net | DE |
| 27.147.136.166 | 136.166.cetus.link3.net | BD |
可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 xfa1 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: xfa1 Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
