如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(19) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 104.168.54.207 | 104-168-54-207-host.colocrossing.com | US |
| 104.168.54.209 | 104-168-54-209-host.colocrossing.com | US |
| 104.168.54.190 | 104-168-54-190-host.colocrossing.com | HK |
| 104.168.54.189 | 104-168-54-189-host.colocrossing.com | US |
| 104.168.54.243 | 104-168-54-243-host.colocrossing.com | ? |
| 104.168.54.248 | 104-168-54-248-host.colocrossing.com | US |
| 104.168.54.227 | 104-168-54-227-host.colocrossing.com | US |
| 104.168.54.247 | 104-168-54-247-host.colocrossing.com | US |
| 104.168.54.224 | 104-168-54-224-host.colocrossing.com | US |
| 104.168.54.237 | 104-168-54-237-host.colocrossing.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 64.13.139.226 | rd226.bx9.net | US |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 presearch crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: presearch crawler Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Presearch引擎是一個新一代的搜尋引擎，它的建立是為了給世界提供一個去中心化的替代方案，它的運作更像是一個代表其社羣而不是股東的公共事業。
其願景是建立完全開放和透明的演算法，利用區塊鏈技術和Presearch社羣的人力，以便類似於維基百科，任何人都可以參與搜尋索引的建立和策劃，提供卓越的結果和抗審查能力。
Presearch為其使用者提供了更多的搜尋選擇和積極的個性化，他們可以控制自己的體驗，而不是建立在跟蹤和剖析使用者基礎上的自動個性化。
當前版本的Presearch引擎是向最終願景邁出的一步，它採用了由社羣成員操作的節點來訪問現有搜尋資源和資料來源的資料。一系列社羣生成的包也可以顯示在傳統的搜尋結果之上，以提供增強的資訊。
下一步是開始將Presearch的索引分層在這個平臺之上，以便社羣驅動的結果可以取代外部結果，但在Presearch索引發展的過程中，仍然為使用者提供全面的答案。
要使用Presearch進行搜尋，請訪問https://presearch.com。
