如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(39) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 51.104.146.225 | 51.104.146.225 | IE |
| 20.56.197.63 | 20.56.197.63 | US |
| 20.197.209.27 | 20.197.209.27 | US |
| 20.72.242.93 | 20.72.242.93 | US |
| 20.43.150.93 | 20.43.150.93 | SG |
| IP地址(47) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 93.182.76.240 | 93-182-76-240.netonline.net | TR |
| 135.148.89.78 | ip78.ip-135-148-89.us | US |
| 2607:f7a0:5:3:805:4702:a82:58e4 | 2607:f7a0:5:3:805:4702:a82:58e4 | US |
| 156.96.154.175 | ? | US |
| 197.185.96.128 | rain-197-185-96-128.rain.network | ZA |
| IP地址(46) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 20.191.45.212 | 20.191.45.212 | IE |
| 40.88.21.235 | 40.88.21.235 | US |
| 107.21.1.8 | ec2-107-21-1-8.compute-1.amazonaws.com | US |
| 54.208.102.37 | ec2-54-208-102-37.compute-1.amazonaws.com | US |
| 23.21.227.63 | ec2-23-21-227-63.compute-1.amazonaws.com | US |
| IP地址(50) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 40.76.173.151 | 40.76.173.151 | US |
| 40.76.162.191 | 40.76.162.191 | US |
| 52.142.24.149 | 52.142.24.149 | US |
| 40.76.163.7 | 40.76.163.7 | US |
| 20.185.79.47 | 20.185.79.47 | US |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.204.97.54 | duckduckbot.duckduckgo.com | US |
| 54.208.100.253 | duckduckbot.duckduckgo.com | US |
| 50.16.241.114 | ec2-50-16-241-114.compute-1.amazonaws.com | US |
| 52.5.190.19 | duckduckbot.duckduckgo.com | US |
| 50.16.241.117 | duckduckbot.duckduckgo.com | US |
| IP地址(9) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.204.97.54 | duckduckbot.duckduckgo.com | US |
| 40.76.173.151 | 40.76.173.151 | US |
| 54.197.234.188 | ec2-54-197-234-188.compute-1.amazonaws.com | US |
| 50.16.241.117 | duckduckbot.duckduckgo.com | US |
| 54.208.100.253 | ec2-54-208-100-253.compute-1.amazonaws.com | US |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 DuckDuckBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: DuckDuckBot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
DuckDuckBot是DuckDuckGo的網路爬蟲。DuckDuckBot的工作是不斷改進DuckDuck搜尋引擎的搜尋結果,為使用者提供最好和最安全的搜尋體驗。它尊重WWW::RobotRules並來自這些IP地址。
20.191.45.212 40.88.21.235 40.76.173.151 40.76.163.7 20.185.79.47 52.142.26.175 20.185.79.15 52.142.24.149 40.76.162.208 40.76.163.23 40.76.162.191 40.76.162.247