如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(742) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 101.67.29.170 | ? | CN |
| 101.67.29.152 | 101.67.29.152 | CN |
| 60.188.9.157 | 60.188.9.157 | CN |
| 60.188.10.17 | 60.188.10.17 | CN |
| 39.173.105.169 | 39.173.105.169 | ? |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 39.173.105.167 | 39.173.105.167 | CN |
| 112.13.112.72 | 112.13.112.72 | CN |
| 101.67.50.61 | 101.67.50.61 | CN |
| 101.67.49.66 | 101.67.49.66 | ? |
| 60.188.9.106 | 60.188.9.106 | CN |
| IP地址(1455) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 112.13.112.53 | 112.13.112.53 | CN |
| 60.188.11.60 | 60.188.11.60 | CN |
| 60.188.9.177 | 60.188.9.177 | CN |
| 112.13.112.50 | 112.13.112.50 | CN |
| 112.13.112.6 | 112.13.112.6 | CN |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 42.156.139.21 | shenmaspider-42-156-139-21.crawl.sm.cn | CN |
| 42.156.254.2 | shenmaspider-42-156-254-2.crawl.sm.cn | CN |
| 42.156.136.94 | shenmaspider-42-156-136-94.crawl.sm.cn | CN |
| 42.156.137.94 | shenmaspider-42-156-137-94.crawl.sm.cn | CN |
| 42.120.160.94 | shenmaspider-42-120-160-94.crawl.sm.cn | CN |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 YisouSpider 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: YisouSpider Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
神馬搜尋根據網站規模、服務能力、頁面質量、更新速度等因素決定對網站的訪問頻率。通常更新快、質量高的網站Yisouspider訪問頻率相對較高。如果您發現Yisouspider非正常抓取您的網站，請反饋給神馬搜尋，並請儘量給出Yisouspider的訪問日誌便於跟蹤處理。
robots.txt是搜尋引擎訪問網站時要訪問的第一個檔案，以確定哪些網頁是允許或禁止抓取的。Yisouspider遵守robots.txt協議。如您希望完全禁止神馬訪問或對部分目錄禁止訪問，您可以通過robots.txt檔案來設定內容，限定Yisouspider的訪問許可權。如果您開通了CNZZ雲推薦服務，協議中預設支援Yisouspider抓取，會忽略robots.txt檔案協議的限制。
robots.txt必須放在網站根目錄下，且檔名要小寫。具體寫法：
1) 完全禁止Yisouspider抓取：
User-agent: Yisouspider Disallow: /
2) 禁止Yisouspider抓取指定目錄
User-agent: Yisouspider Disallow: /update/ Disallow: /history/
上述robots.txt規則則是禁止抓取update、history目錄下網頁。
