如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(16) | 服务器名称 | 所属国家 |
|---|---|---|
| 216.244.66.197 | ? | US |
| 216.244.66.247 | ? | US |
| 216.244.66.243 | ? | US |
| 216.244.66.248 | ? | US |
| 216.244.66.237 | 216-244-66-237.reverse.wowrack.com | US |
| IP地址(128) | 服务器名称 | 所属国家 |
|---|---|---|
| 35.153.133.186 | ec2-35-153-133-186.compute-1.amazonaws.com | US |
| 54.196.89.197 | ec2-54-196-89-197.compute-1.amazonaws.com | US |
| 54.196.168.34 | ec2-54-196-168-34.compute-1.amazonaws.com | US |
| 54.224.84.45 | ec2-54-224-84-45.compute-1.amazonaws.com | US |
| 54.80.131.215 | ec2-54-80-131-215.compute-1.amazonaws.com | US |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 208.115.111.243 | crawl2.dotnetdotcom.org | US |
| 208.115.111.248 | crawl7.dotnetdotcom.org | US |
| 208.115.111.247 | crawl6.dotnetdotcom.org | US |
| 208.115.111.249 | crawl8.dotnetdotcom.org | US |
| 208.115.111.250 | crawl9.dotnetdotcom.org | US |
| IP地址(6) | 服务器名称 | 所属国家 |
|---|---|---|
| 208.184.81.30 | ? | US |
| 72.44.63.103 | ec2-72-44-63-103.compute-1.amazonaws.com | US |
| 107.20.88.61 | ec2-107-20-88-61.compute-1.amazonaws.com | US |
| 184.72.90.45 | ec2-184-72-90-45.compute-1.amazonaws.com | US |
| 184.73.99.2 | ec2-184-73-99-2.compute-1.amazonaws.com | US |
一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 DotBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: DotBot Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
在本页面中，您将了解更多关于我们的爬虫Dotbot的信息，它被用来抓取Moz链接索引，为Moz API、链接浏览器和您的活动中的链接部分提供动力。
Dotbot是Moz的网络爬虫，它为Moz链接指数收集网络数据。我们通过Dotbot收集的这些数据可以在您的Moz Pro广告系列的链接部分、链接浏览器和Moz链接API中找到。Dotbot与Rogerbot不同，Rogerbot是我们为Moz Pro广告系列提供的网站审计爬行器。
我们的一些工具，如Link Explorer，需要我们抓取网站。当这种情况发生时，用户代理Dotbot被用来识别我们的爬行器。最好记住，你需要一个Moz专业账户来访问收集到的大部分信息。我们的免费网络营销社区成员的访问权限有限。要看我们收集的数据类型的一个例子，在链接浏览器的搜索框中输入一个URL。
如果您不希望Dotbot抓取您的网站，我们总是尊重标准的Robots排除协议（又称robots.txt）。如果您想阻止Dotbot，您只需将我们的user-agent字符串添加到您的robots.txt文件。
User-agent: dotbot Disallow: /admin/ Disallow: /scripts/ Disallow: /images/
User-agent: dotbot Disallow: /
User-agent: dotbot Crawl-delay: 10
Dotbot只在新的索引抓取过程中第一次遇到该网站时查看你的robots.txt文件。这意味着，如果Dotbot看到它被允许进入该网站一次，对该权限的任何改变都不会被查看，直到Dotbot下次定位到你的网站的链接。
