如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(39) | 服务器名称 | 所属国家 |
|---|---|---|
| 51.104.146.225 | 51.104.146.225 | IE |
| 20.56.197.63 | 20.56.197.63 | US |
| 20.197.209.27 | 20.197.209.27 | US |
| 20.72.242.93 | 20.72.242.93 | US |
| 20.43.150.93 | 20.43.150.93 | SG |
| IP地址(47) | 服务器名称 | 所属国家 |
|---|---|---|
| 93.182.76.240 | 93-182-76-240.netonline.net | TR |
| 135.148.89.78 | ip78.ip-135-148-89.us | US |
| 2607:f7a0:5:3:805:4702:a82:58e4 | 2607:f7a0:5:3:805:4702:a82:58e4 | US |
| 156.96.154.175 | ? | US |
| 197.185.96.128 | rain-197-185-96-128.rain.network | ZA |
| IP地址(46) | 服务器名称 | 所属国家 |
|---|---|---|
| 20.191.45.212 | 20.191.45.212 | IE |
| 40.88.21.235 | 40.88.21.235 | US |
| 107.21.1.8 | ec2-107-21-1-8.compute-1.amazonaws.com | US |
| 54.208.102.37 | ec2-54-208-102-37.compute-1.amazonaws.com | US |
| 23.21.227.63 | ec2-23-21-227-63.compute-1.amazonaws.com | US |
| IP地址(50) | 服务器名称 | 所属国家 |
|---|---|---|
| 40.76.173.151 | 40.76.173.151 | US |
| 40.76.162.191 | 40.76.162.191 | US |
| 52.142.24.149 | 52.142.24.149 | US |
| 40.76.163.7 | 40.76.163.7 | US |
| 20.185.79.47 | 20.185.79.47 | US |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 52.204.97.54 | duckduckbot.duckduckgo.com | US |
| 54.208.100.253 | duckduckbot.duckduckgo.com | US |
| 50.16.241.114 | ec2-50-16-241-114.compute-1.amazonaws.com | US |
| 52.5.190.19 | duckduckbot.duckduckgo.com | US |
| 50.16.241.117 | duckduckbot.duckduckgo.com | US |
| IP地址(9) | 服务器名称 | 所属国家 |
|---|---|---|
| 52.204.97.54 | duckduckbot.duckduckgo.com | US |
| 40.76.173.151 | 40.76.173.151 | US |
| 54.197.234.188 | ec2-54-197-234-188.compute-1.amazonaws.com | US |
| 50.16.241.117 | duckduckbot.duckduckgo.com | US |
| 54.208.100.253 | ec2-54-208-100-253.compute-1.amazonaws.com | US |
一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 DuckDuckBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: DuckDuckBot Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
DuckDuckBot是DuckDuckGo的网络爬虫。DuckDuckBot的工作是不断改进DuckDuck搜索引擎的搜索结果，为用户提供最好和最安全的搜索体验。它尊重WWW::RobotRules并来自这些IP地址。
20.191.45.212 40.88.21.235 40.76.173.151 40.76.163.7 20.185.79.47 52.142.26.175 20.185.79.15 52.142.24.149 40.76.162.208 40.76.163.23 40.76.162.191 40.76.162.247
