如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(21) | 服务器名称 | 所属国家 |
|---|---|---|
| 141.101.96.26 | 141.101.96.26 | CZ |
| 162.158.203.33 | 162.158.203.33 | DE |
| 141.101.96.127 | 141.101.96.127 | CZ |
| 141.101.97.109 | 141.101.97.109 | CZ |
| 172.68.218.131 | 172.68.218.131 | US |
| IP地址(5) | 服务器名称 | 所属国家 |
|---|---|---|
| 141.101.97.147 | 141.101.97.147 | CZ |
| 162.158.150.46 | ? | CH |
| 141.101.97.114 | ? | CZ |
| 141.101.97.125 | 141.101.97.125 | CZ |
| 141.101.97.122 | ? | CZ |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 34.213.50.185 | ec2-34-213-50-185.us-west-2.compute.amazonaws.com | US |
| 54.186.42.109 | ec2-54-186-42-109.us-west-2.compute.amazonaws.com | US |
| 34.222.44.40 | ec2-34-222-44-40.us-west-2.compute.amazonaws.com | US |
| 34.209.44.179 | ec2-34-209-44-179.us-west-2.compute.amazonaws.com | US |
| 52.34.123.195 | ec2-52-34-123-195.us-west-2.compute.amazonaws.com | US |
| IP地址(3) | 服务器名称 | 所属国家 |
|---|---|---|
| 50.97.161.229 | e5.a1.6132.ip4.static.sl-reverse.com | US |
| 108.174.155.51 | 108-174-155-51.worldwidewebhosted.com | US |
| 108.174.155.10 | 108-174-155-10.worldwidewebhosted.com | US |
通常不需要，如果您不需要此类监控服务，在服务提供网站移除您的网站即可。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 DowntimeDetector 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: DowntimeDetector Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
downforeveryoneorjustme.com这个网站检查一个网站是否对所有人或只是对你关闭。DowntimeDetector这个爬虫的目的很明显，即用于检测网站是否对所有关闭还是特定人关闭。
例如，如果你不能加载或登录Facebook，你可以在这里检查Facebook是否关闭，当我们的服务器检查时，我们会告诉你是否关闭。这可以很方便地知道问题是发生在所有人身上，还是只是你的ISP或本地区域的问题。
你是否在寻找用RESTful JSON API进行远程HTTP网站检查的能力？
