如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(66) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 167.71.0.109 | 167.71.0.109 | NL |
| 206.189.13.53 | 206.189.13.53 | NL |
| 68.183.11.48 | ? | NL |
| 167.99.36.43 | ? | NL |
| 206.189.4.227 | ? | NL |
| 161.35.146.130 | ? | US |
| 161.35.82.173 | ? | US |
| 206.189.1.145 | ? | NL |
| 159.65.201.198 | ? | NL |
| 206.189.102.76 | ? | NL |
| 128.199.33.116 | 128.199.33.116 | NL |
| 178.62.251.210 | onewa11y-06.com | NL |
| 178.62.242.233 | 178.62.242.233 | NL |
| 178.62.212.218 | telma.rec.parsys.com | NL |
| 188.166.16.235 | 188.166.16.235 | NL |
| 178.62.225.65 | 178.62.225.65 | NL |
| 178.62.251.207 | squid.ams3.digitalocean.19 | NL |
| 188.166.19.111 | 188.166.19.111 | NL |
| 188.166.24.57 | kbi.ams3.qa.edp.misy.eu | NL |
| 188.166.1.96 | 188.166.1.96 | NL |
| 167.99.35.1 | 167.99.35.1 | ? |
| 167.99.215.153 | 167.99.215.153 | NL |
| 159.223.226.93 | 159.223.226.93 | US |
| 142.93.228.248 | 142.93.228.248 | NL |
| 134.209.196.160 | ? | NL |
| 167.71.73.226 | 167.71.73.226 | NL |
| 165.22.194.147 | ? | NL |
| 159.223.209.111 | 159.223.209.111 | NL |
| 146.190.30.66 | 146.190.30.66 | NL |
| 165.22.199.38 | ? | NL |
| 164.92.146.233 | 164.92.146.233 | NL |
| 174.138.11.34 | 174.138.11.34 | NL |
| 165.232.83.140 | ? | NL |
| 188.166.8.235 | 188.166.8.235 | NL |
| 64.227.77.200 | ? | US |
| 128.199.39.118 | 128.199.39.118 | NL |
| 64.225.75.193 | ? | NL |
| 209.38.40.25 | ? | US |
| 152.42.133.240 | 152.42.133.240 | US |
| 164.92.157.248 | 164.92.157.248 | NL |
| 174.138.12.101 | 174.138.12.101 | NL |
| 164.90.201.168 | ? | NL |
| 164.92.216.212 | ? | NL |
| 209.38.37.161 | ? | NL |
| 104.248.200.252 | 104.248.200.252 | NL |
| 209.38.33.228 | 209.38.33.228 | NL |
| 167.172.46.193 | 167.172.46.193 | NL |
| 206.189.99.166 | 206.189.99.166 | NL |
| 205.185.127.231 | tor-exit.lv2.otterrelays.net | US |
| IP地址(66) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 128.199.33.116 | 128.199.33.116 | NL |
| 178.62.251.210 | onewa11y-06.com | NL |
| 178.62.242.233 | 178.62.242.233 | NL |
| 178.62.212.218 | telma.rec.parsys.com | NL |
| 188.166.16.235 | 188.166.16.235 | NL |
| 178.62.225.65 | 178.62.225.65 | NL |
| 178.62.251.207 | squid.ams3.digitalocean.19 | NL |
| 188.166.19.111 | 188.166.19.111 | NL |
| 188.166.24.57 | kbi.ams3.qa.edp.misy.eu | NL |
| 188.166.1.96 | 188.166.1.96 | NL |
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的，也可能是壞的，這取決於它是什麼。所以說，這需要站長進一步分析判斷這些尚不明確的爬蟲行為，再作最終決定。 但，根據以往的經驗，未宣告行為目的及未命名的蜘蛛爬蟲，通常都有不可告人的祕密，我們理應對其行為進行控制，比如攔截。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 SafeDNSBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: SafeDNSBot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
safedns.com關於SafeDNS Categorization Crawler收集網頁的目標和政策簡要介紹如下。如果您有任何疑問，請發電子郵件給safedns.com。
SafeDNS收集網頁的主要原因是為了正確分類網際網路資源，併為SafeDNS開發新的技術和產品。
SafeDNS的爬蟲總是尊重常見的爬行規範，如以下幾點：SafeDNS的爬蟲以一定間隔的方式逐頁訪問每個網站。目前，我們只從每個伺服器上獲取有限數量的頁面。儘管我們將抓取過程與檢測主機別名的過程交織在一起，但有可能一個別名的伺服器可能被同時以不同的主機名訪問。它總是讀取robots.txt檔案，而且從不抓取受限網頁。你可以在你網站頂部的robots.txt檔案中向爬蟲指定指令。例如，以下指令禁止我們的爬蟲從您的網站檢索任何內容。
User-agent: SafeDNSBot Disallow: /
SafeDNS對網頁的管理非常謹慎。在SafeDNS的資料庫中註冊收集的網頁。SafeDNS管理對資料庫的訪問，防止未經授權的訪問。
如有任何疑問、意見或要求，請發電子郵件給SafeDNS，noc@safedns.com。請在郵件中說明您網站的主機名稱和IP地址。
