serpstatbot

是否拦截serpstatbot？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 serpstatbot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: serpstatbot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

serpstatbot 的目的是什么？

serpstatbot 会不断爬行网络，添加新链接并跟踪链接数据库的变化。serpstatbot 为用户提供市场上最大的反向链接数据库之一，用于规划和监控营销活动。

如何处理抓取的数据？

抓取的数据会添加到反向链接索引中。您可以在 Serpstat 中访问索引中的数据。

如何处理 404 或 301 页面？

serpstatbot 收集历史数据，以确保临时变化不会对您的网站产生影响。如果带有404或301服务器响应代码的页面链接仍然存在，serpstatbot将继续查找并跟踪它们。您可以查看 Google 404 政策，了解更多信息。

机器人会抓取带有 rel = nofollow 属性的链接吗？

是的，它会扫描。

如何 阻止serpstatbot？

Serpstatbot 遵循 robots.txt 标准。如果您不希望机器人抓取您的网站，请在robots.txt中添加以下文本：

User-agent: serpstatbot
Disallow: /

请始终确保机器人本身能获取 robots.txt 文件。如果不能，它将默认抓取您的网站。

如果您认为 serpstatbot 没有遵从您的 robots.txt 命令，请通过电子邮件联系： serpstatbot@serpstatbot.com。请附上您网站的URL和日志条目，以显示机器人试图抓取它不应该抓取的页面。

serpstatbot 支持 robots.txt 中的哪些命令？

Serpstatbot支持在robots.txt中添加以下内容：

• Crawl-delay（抓取延迟）最多20秒（更高的数字将被削减）
• 当尝试获取 robots.txt 时，在同一网站内 Redirecting（重定向）
• 与雅虎通配符规范一致的 Disallow 指令中的简单模式匹配
• 如果 Allow 指令较长，则 Allow 指令优先于 Disallow 指令
• 检索 robots.txt 文件失败（如 403 Forbidden）会被视为没有任何禁止。在这种情况下，机器人将抓取所有可实际访问的页面。

为什么我的 robots.txt block 在 serpstatbot 上不起作用？

有几个原因：

• 请求 robots.txt 后的站外重定向：serpstatbot 只访问同一域名的重定向。
• 如果在同一服务器上运行多个域，某些服务器会将这些域的访问记录到一个文件中，而不指定域名。您应在访问日志中添加域名，或按域分割访问日志。

如何降低 serpstatbot 的运行速度？

您可以通过在 robots.txt 文件中添加以下设置来减慢机器人的速度：

User-Agent: serpstatbot
Crawl-Delay: 5

爬行延迟（ Crawl-Delay ）必须是整数：代表请求之间等待的秒数。Serpstatbot 接受的网站请求延迟时间最多为20秒。高爬行延迟应尽量减少对您网站的影响。如果该参数设置为  User-Agent: * .

如果 Serpstatbot 机器人发现您为其他机器人使用了 Crawl-Delay ，那么它会自动放慢爬行速度。

我能得到Serpstatbot的全部IP列表吗？

这是 Serpstatbot 使用的所有 IP 的列表。