如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(19) | 服务器名称 | 所属国家 |
|---|---|---|
| 18.185.137.135 | ec2-18-185-137-135.eu-central-1.compute.amazonaws.com | DE |
| 3.125.114.178 | ec2-3-125-114-178.eu-central-1.compute.amazonaws.com | DE |
| 3.124.2.181 | ec2-3-124-2-181.eu-central-1.compute.amazonaws.com | DE |
| 3.120.243.240 | ec2-3-120-243-240.eu-central-1.compute.amazonaws.com | DE |
| 54.93.226.219 | ec2-54-93-226-219.eu-central-1.compute.amazonaws.com | DE |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 3.124.2.181 | ec2-3-124-2-181.eu-central-1.compute.amazonaws.com | DE |
| 3.125.114.178 | ec2-3-125-114-178.eu-central-1.compute.amazonaws.com | DE |
| 54.93.226.219 | ec2-54-93-226-219.eu-central-1.compute.amazonaws.com | DE |
| 18.185.137.135 | ec2-18-185-137-135.eu-central-1.compute.amazonaws.com | DE |
| 52.59.94.113 | ec2-52-59-94-113.eu-central-1.compute.amazonaws.com | DE |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 2.237.192.95 | ? | IT |
一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 ZoomBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: ZoomBot Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
ZoomBot是一个网络爬虫，为SEOZoom工具的20亿链接数据库提供动力。它不断地抓取网络，使我们的数据库充满新的链接，并检查以前发现的链接的状态，以提供最全面和最新的数据给我们的用户。ZoomBot从网上收集的链接数据被意大利的营销人员用来计划、执行和监测他们的在线营销活动。
ZoomBot正在抓取您的网站，对出站链接进行记录，并将它们添加到seozoom.it的数据库。它将定期重新抓取您的网站，检查以前发现的链接的当前状态。seozoom.it的爬虫不会收集或储存有关您网站的任何其他信息。它不会在您的网站上触发广告（如果有的话），也不会为您的谷歌分析流量添加数字。
是的，我们尊重robots.txt，只是有禁止规则。
你可以使用这个简单的规则阻止我们的机器人。
User-Agent: ZoomBot Disallow: /
请注意，ZoomBot可能需要一些时间来选择您的robots.txt文件中的变化。这将在每次预定抓取之前进行。
还请注意，如果您的robots.txt包含错误，ZoomBot将无法识别您的命令，它将继续按照以前的方式抓取您的网站。
如果您认为ZoomBot在您的网站上有某种程度的不当行为，或者您对它有任何疑问，请毫不犹豫地与seozoom.it的支持团队联系，info@seozoom.it。
