如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(7) | 服务器名称 | 所属国家 |
|---|---|---|
| 2a01:4f8:c0c:4192::2 | 2a01:4f8:c0c:4192::2 | DE |
| 94.130.175.168 | ? | DE |
| 2a01:4f8:c17:2f67::2 | 2a01:4f8:c17:2f67::2 | DE |
| 88.198.114.16 | static.88-198-114-16.clients.your-server.de | DE |
| 144.76.113.146 | mail.consumeradviseconcept.com | DE |
| IP地址(48) | 服务器名称 | 所属国家 |
|---|---|---|
| 2a01:4f8:1c0c:5a18::1 | 2a01:4f8:1c0c:5a18::1 | DE |
| 116.203.198.198 | ? | DE |
| 2a01:4f8:1c0c:78bb::1 | 2a01:4f8:1c0c:78bb::1 | DE |
| 2a01:4f8:1c0c:59f3::1 | 2a01:4f8:1c0c:59f3::1 | DE |
| 2a01:4f8:1c0c:7bef::1 | 2a01:4f8:1c0c:7bef::1 | DE |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 2a01:4f8:c0c:537d::2 | 2a01:4f8:c0c:537d::2 | DE |
| 2a01:4f8:c0c:4245::2 | 2a01:4f8:c0c:4245::2 | DE |
| 195.201.88.1 | ? | DE |
| 159.69.24.73 | ? | DE |
| 94.130.171.249 | ? | DE |
| IP地址(2) | 服务器名称 | 所属国家 |
|---|---|---|
| 144.76.113.146 | mail.consumeradviseconcept.com | DE |
| 148.251.234.39 | static.39.234.251.148.clients.your-server.de | DE |
可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然，实际情况需站长判断后再作决定。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Seobility 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Seobility Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Seobility Bot爬行网站以收集SEO信息。
为了阻止来自Seobility Bot的请求，请在您的Robots.txt中添加以下一行。
User-agent: Seobility Disallow: /
如果你发现机器人的行为很不正常，请与官方联系。
只要文件中没有提供Seobility指令，Seobility Bot将遵循所有*指令。比如说：
User-agent: * Disallow: /secret.html
secret.html将不会被抓取
User-agent: * Disallow: /secret.html User-agent: Seobility Disallow: /login.html
secret.html会被抓取，login.html则不会被抓取。
如果您想只允许Seobility访问，而拒绝所有其他机器人，那么您可以使用下面的robots.txt条目。这种技术可以用来测试子域（例如：http://test.example.com/）上的SEO变化，然后再发布这些变化。
User-agent: * Disallow: / User-agent: Seobility Disallow:
