如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(5) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 104.248.151.24 | ? | SG |
| 128.199.86.98 | ? | SG |
| 159.223.88.118 | 159.223.88.118 | SG |
| 139.59.99.248 | ? | SG |
| 167.71.200.2 | ? | SG |
| 104.248.155.237 | 104.248.155.237 | SG |
| 178.128.115.182 | ? | SG |
| 157.245.53.106 | 157.245.53.106 | SG |
| 139.59.250.103 | ? | SG |
| 188.166.236.206 | ? | SG |
| 143.198.86.132 | ? | SG |
| 157.245.159.189 | 157.245.159.189 | SG |
| 68.183.224.166 | ? | TR |
| 165.22.48.142 | 165.22.48.142 | SG |
| 68.183.188.71 | ? | SG |
| 128.199.174.153 | ? | ? |
| 178.128.17.134 | ? | SG |
| 139.59.233.195 | ? | SG |
| 188.166.219.244 | ? | SG |
| 188.166.227.253 | ? | SG |
| 157.230.240.138 | ? | SG |
| 159.223.84.43 | ? | SG |
| 139.59.105.9 | ? | SG |
| 178.128.58.184 | ? | SG |
| 157.230.42.241 | 157.230.42.241 | SG |
| 188.166.209.65 | ? | SG |
| 167.71.214.144 | ? | SG |
| 188.166.253.214 | ? | SG |
| 157.230.241.151 | ? | SG |
| 165.22.60.71 | 165.22.60.71 | SG |
| 159.65.132.46 | ? | SG |
| 139.59.247.211 | ? | SG |
| 167.172.78.48 | ? | US |
| 206.189.146.10 | ? | SG |
| 139.59.238.236 | 139.59.238.236 | SG |
| 139.59.226.1 | ? | SG |
| 209.97.171.72 | ? | SG |
| 143.198.90.75 | ? | US |
| 143.198.87.5 | ? | SG |
| 209.97.165.8 | ? | SG |
| 68.183.176.64 | ? | US |
| 209.97.169.110 | 209.97.169.110 | SG |
| 174.138.21.255 | ? | SG |
| 178.128.29.126 | ? | SG |
| 159.223.83.93 | ? | ? |
| 178.128.222.141 | ? | SG |
| 128.199.78.225 | ? | SG |
| 128.199.79.123 | 128.199.79.123 | SG |
| 159.223.35.108 | ? | SG |
| 128.199.237.223 | ? | SG |
| 143.198.91.24 | ? | SG |
| 178.128.20.48 | ? | SG |
| 128.199.119.178 | ? | SG |
| 139.59.239.34 | ? | SG |
| 152.42.160.134 | ? | US |
| 167.172.87.151 | ? | SG |
| 152.42.216.58 | ? | US |
| 165.22.109.216 | ? | SG |
| 209.97.161.66 | ? | SG |
| 178.128.26.247 | ? | SG |
| 206.189.40.229 | ? | SG |
| 165.22.241.234 | ? | SG |
| 128.199.177.181 | ? | SG |
| 167.172.71.97 | ? | SG |
| 152.42.247.127 | ? | SG |
| 157.245.197.193 | ? | SG |
| 157.245.194.91 | 157.245.194.91 | SG |
| 159.223.82.117 | ? | SG |
| 188.166.231.94 | ? | SG |
| 178.128.55.247 | ? | SG |
| 146.190.85.254 | ? | ? |
| IP地址(5) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 139.59.233.195 | ? | SG |
| 188.166.219.244 | ? | SG |
| 188.166.227.253 | ? | SG |
| 157.230.240.138 | ? | SG |
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然，實際情況需站長判斷後再作決定。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 WellKnownBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: WellKnownBot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Well-Known是一個免費、開放的知名資源索引。它定期掃描數以百萬計的領域，彙編了一個可搜尋的結構化知名資源資料資料庫。
該搜尋引擎支援每種資源型別的特定搜尋過濾器，使詳細查詢能夠回答各種問題。
目前支援10種資源。
知名資源是由位於特定 “知名 “地點的網站託管的檔案。這些資源被用來向開發者、其他網站和服務等傳達有關網站和其提供的服務的各種資訊。
資源的格式和位置通常是在規範中定義的，儘管有些是在鬆散的共識中產生的，沒有正式的規定。它們通常位於/.known/路徑下。
你可以在這裡閱讀更多關於well-know資源的資訊。
WellKnown掃描是由WellKnownBot執行的。所有請求都包含一個User-Agent頭，其中包括字串WellKnownBot和本頁面的URL。
雖然WellKnownBot進行自動請求，但它不是一個網路爬蟲/蜘蛛。它只請求少量的特定資源，這些資源旨在供公眾、程式性消費。
因為它不是爬蟲，所以WellKnownBot不遵循通用的User-Agent。* robots.txt檔案中的爬行規則。然而，它確實遵守專門針對它的組中的robots.txt規則。
如果你希望限制WellKnownBot掃描的資源，請在你的組中新增一個User-Agent:WellKnownBot組到你網站的robots.txt。
