如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(16) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 216.244.66.197 | ? | US |
| 216.244.66.247 | ? | US |
| 216.244.66.243 | ? | US |
| 216.244.66.248 | ? | US |
| 216.244.66.237 | 216-244-66-237.reverse.wowrack.com | US |
| IP地址(128) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 35.153.133.186 | ec2-35-153-133-186.compute-1.amazonaws.com | US |
| 54.196.89.197 | ec2-54-196-89-197.compute-1.amazonaws.com | US |
| 54.196.168.34 | ec2-54-196-168-34.compute-1.amazonaws.com | US |
| 54.224.84.45 | ec2-54-224-84-45.compute-1.amazonaws.com | US |
| 54.80.131.215 | ec2-54-80-131-215.compute-1.amazonaws.com | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 208.115.111.243 | crawl2.dotnetdotcom.org | US |
| 208.115.111.248 | crawl7.dotnetdotcom.org | US |
| 208.115.111.247 | crawl6.dotnetdotcom.org | US |
| 208.115.111.249 | crawl8.dotnetdotcom.org | US |
| 208.115.111.250 | crawl9.dotnetdotcom.org | US |
| IP地址(6) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 208.184.81.30 | ? | US |
| 72.44.63.103 | ec2-72-44-63-103.compute-1.amazonaws.com | US |
| 107.20.88.61 | ec2-107-20-88-61.compute-1.amazonaws.com | US |
| 184.72.90.45 | ec2-184-72-90-45.compute-1.amazonaws.com | US |
| 184.73.99.2 | ec2-184-73-99-2.compute-1.amazonaws.com | US |
一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 DotBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: DotBot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
在本頁面中，您將瞭解更多關於我們的爬蟲Dotbot的資訊，它被用來抓取Moz連結索引，為Moz API、連結瀏覽器和您的活動中的連結部分提供動力。
Dotbot是Moz的網路爬蟲，它為Moz連結指數收集網路資料。我們通過Dotbot收集的這些資料可以在您的Moz Pro廣告系列的連結部分、連結瀏覽器和Moz連結API中找到。Dotbot與Rogerbot不同，Rogerbot是我們為Moz Pro廣告系列提供的網站審計爬行器。
我們的一些工具，如Link Explorer，需要我們抓取網站。當這種情況發生時，使用者代理Dotbot被用來識別我們的爬行器。最好記住，你需要一個Moz專業賬戶來訪問收集到的大部分資訊。我們的免費網路營銷社羣成員的訪問許可權有限。要看我們收集的資料型別的一個例子，在連結瀏覽器的搜尋框中輸入一個URL。
如果您不希望Dotbot抓取您的網站，我們總是尊重標準的Robots排除協議（又稱robots.txt）。如果您想阻止Dotbot，您只需將我們的user-agent字串新增到您的robots.txt檔案。
User-agent: dotbot Disallow: /admin/ Disallow: /scripts/ Disallow: /images/
User-agent: dotbot Disallow: /
User-agent: dotbot Crawl-delay: 10
Dotbot只在新的索引抓取過程中第一次遇到該網站時檢視你的robots.txt檔案。這意味著，如果Dotbot看到它被允許進入該網站一次，對該許可權的任何改變都不會被檢視，直到Dotbot下次定位到你的網站的連結。
