如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(21) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 141.101.96.26 | 141.101.96.26 | CZ |
| 162.158.203.33 | 162.158.203.33 | DE |
| 141.101.96.127 | 141.101.96.127 | CZ |
| 141.101.97.109 | 141.101.97.109 | CZ |
| 172.68.218.131 | 172.68.218.131 | US |
| IP地址(5) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 141.101.97.147 | 141.101.97.147 | CZ |
| 162.158.150.46 | ? | CH |
| 141.101.97.114 | ? | CZ |
| 141.101.97.125 | 141.101.97.125 | CZ |
| 141.101.97.122 | ? | CZ |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 34.213.50.185 | ec2-34-213-50-185.us-west-2.compute.amazonaws.com | US |
| 54.186.42.109 | ec2-54-186-42-109.us-west-2.compute.amazonaws.com | US |
| 34.222.44.40 | ec2-34-222-44-40.us-west-2.compute.amazonaws.com | US |
| 34.209.44.179 | ec2-34-209-44-179.us-west-2.compute.amazonaws.com | US |
| 52.34.123.195 | ec2-52-34-123-195.us-west-2.compute.amazonaws.com | US |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 50.97.161.229 | e5.a1.6132.ip4.static.sl-reverse.com | US |
| 108.174.155.51 | 108-174-155-51.worldwidewebhosted.com | US |
| 108.174.155.10 | 108-174-155-10.worldwidewebhosted.com | US |
通常不需要，如果您不需要此類監控服務，在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 DowntimeDetector 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: DowntimeDetector Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
downforeveryoneorjustme.com這個網站檢查一個網站是否對所有人或只是對你關閉。DowntimeDetector這個爬蟲的目的很明顯，即用於檢測網站是否對所有關閉還是特定人關閉。
例如，如果你不能載入或登入Facebook，你可以在這裡檢查Facebook是否關閉，當我們的伺服器檢查時，我們會告訴你是否關閉。這可以很方便地知道問題是發生在所有人身上，還是隻是你的ISP或本地區域的問題。
你是否在尋找用RESTful JSON API進行遠端HTTP網站檢查的能力？
