如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(27) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 209.95.51.169 | d15f33a9.setaptr.net | US |
| 174.127.90.45 | ? | US |
| 174.127.90.44 | ? | US |
| 209.95.51.166 | d15f33a6.setaptr.net | US |
| 173.244.209.230 | adf4d1e6.setaptr.net | US |
| 209.95.51.167 | d15f33a7.setaptr.net | US |
| 173.244.209.229 | adf4d1e5.setaptr.net | US |
| 173.244.209.241 | adf4d1f1.setaptr.net | US |
| 173.244.209.232 | adf4d1e8.setaptr.net | US |
| 107.182.234.192 | 6bb6eac0.setaptr.net | US |
| 78.153.140.218 | hostglobal.plus | GB |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 IndeedBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: IndeedBot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Indeed是一個美國的世界性就業相關搜尋引擎，用於釋出工作資訊。IndeedBot則是該搜尋引擎的爬蟲，主要用於工作職位、企業資訊等與就業相關的資訊的抓取，國內網站伺服器一般很少遇到這個爬蟲。
