SEMrushBot

机器人，也称为网络机器人、网络蜘蛛或网络爬虫，是一种软件应用程序，旨在以比任何人都更有效、更有条理和更简洁的方式自动执行简单和重复的任务。

机器人最常见的用途是网络爬虫或网络爬行。

SemrushBot是Semrush发送的搜索机器人软件，用于发现和收集新的和更新的网络数据。

SemrushBot收集的数据用于：

• 公共反向链接搜索引擎索引作为称为反向链接分析（链接网络图）的专用工具维护
• 网站审核工具，用于分析页面 SEO、技术和可用性问题
• 反向链接审核工具，有助于发现和清理个人资料中潜在危险的反向链接
• 链接构建工具，可帮助您找到潜在客户，与他们联系并监控您新获得的反向链接
• SEO写作助手工具，用于检查URL是否可访问
• 用于索引和搜索文章的品牌监控工具
• 内容分析器和帖子跟踪工具报告
• 页面 SEO 检查器和 SEO 内容模板工具报告
• 主题研究工具报告
• SplitSignal工具可在您的网站上创建SEO A / B测试
• 内容大纲构建器工具报告

SemrushBot如何抓取您的网站

SemrushBot的抓取过程从网页URL列表开始。当SemrushBot访问这些URL时，它会保存页面中的超链接以供进一步抓取。此列表也称为“爬行边界”，根据一组 Semrush 策略反复访问，以有效地映射站点以进行更新：内容更改、新页面和死链接。

如何拦截SemrushBot抓取您的网站

机器人会抓取您的网页以帮助解析您的网站内容，因此您网站中的相关信息很容易编入索引，并且更容易被搜索您提供的内容的用户使用。

尽管大多数机器人是无害的，甚至是非常有益的，但您可能仍然希望拦截它们抓取您的网站（但请注意，并非网络上的每个人都在使用机器人来帮助索引您的网站）。最简单快捷的方法是使用robots.txt文件。此文本文件包含有关机器人应如何处理站点数据的说明。

重要：robots.txt文件必须放在它适用的网站主机的顶部目录中。否则，它对SemrushBot行为没有影响。

要拦截SemrushBot抓取您的网站，请将以下规则添加到您的robots.txt文件中：

• 要拦截SemrushBot抓取您的网站以获取链接的网络图，请执行以下操作：

  User-agent: SemrushBot
  Disallow: /

  SemrushBot for Backlink Analytics 还支持以下机器人的非标准扩展.txt：

  • 爬网延迟指令。Semrush的抓取工具在两次向网站发出请求之间最多可能需要 10 秒的间隔。更高的值将减少到此 10 秒限制。如果未指定抓取延迟，SemrushBot将根据当前服务器负载调整对站点的请求频率。
  • 通配符 （*） 的使用。

  重要细节：

  • 如果您有子域，则需要在每个子域上放置一个 robots.txt 文件。否则，SemrushBot 将不会处理您域中的任何其他文件，并会认为允许它抓取您子域上的所有内容。
  • robots.txt 文件必须始终返回 HTTP 200 状态代码。如果返回4xx状态代码，SemrushBot将假定不存在robots.txt.txt并且没有抓取限制。为您的robots.txt.txt文件返回 5xx 状态代码将拦截 SemrushBot 抓取您的整个网站。Semrush的爬虫可以处理robots.txt.txt具有 3xx 状态代码的文件。

请注意，SemrushBot 最多可能需要一小时或 100 个请求才能发现对您的机器人所做的更改.txt。

• 要拦截SemrushBot抓取您的网站以解决不同的SEO和技术问题：

  User-agent: SiteAuditBot
  Disallow: /

• 要拦截SemrushBot抓取您的网站以进行反向链接审核工具：

  User-agent: SemrushBot-BA
  Disallow: /

• 要拦截SemrushBot抓取您的网站以获取页面SEO检查器工具和类似工具：

  User-agent: SemrushBot-SI
  Disallow: /

• 要拦截SemrushBot检查您网站上的网址以获取SWA工具，请执行以下操作：

  User-agent: SemrushBot-SWA
  Disallow: /

• 要拦截SemrushBot对内容分析器和帖子跟踪工具的网站进行爬网，请执行以下操作：

  User-agent: SemrushBot-CT
  Disallow: /

• 要拦截SemrushBot抓取您的网站以进行品牌监控：

  User-agent: SemrushBot-BM
  Disallow: /

• 要拦截 SplitSignalBot 抓取您的网站以获取 SplitSignal 工具，请执行以下操作：

  User-agent: SplitSignalBot
  Disallow: /

• 要拦截SemrushBot-COUB抓取内容大纲生成器工具的网站：

  User-agent: SemrushBot-COUB
  Disallow: /

要防止 Web 浏览器服务器日志中出现“找不到文件”错误消息，请创建一个空的“robots.txt”文件。

不要尝试通过IP拦截SemrushBot，因为Semrush不使用任何连续的IP块。

常见问题

• 为什么Semrush尝试抓取不存在或具有奇怪URL参数的页面？
  通常，如果SemrushBot检测到您网站上不存在的页面，它将停止抓取它们。但是，如果网络上的其他网站链接到该网页，Semrush的抓取工具可能会继续查找该网页，该网页将不再存在。
• 为什么SemrushBot尝试登录，尝试不同的密码并提交调查表？
  这是因为您的登录名或调查表单是使用 GET 方法提交的。输入数据将成为请求的 URL 的一部分，任何知道该 URL 的人都可以访问，包括Semrush的抓取工具。虽然Semrush试图省略此类表单，但Semrush建议您将表单方法切换为 POST。
• SemrushBot在Semrush进行站点迁移后不服从Semrush的robots.txt命令。
  如果要迁移网站（例如，从HTTP迁移到HTTPS），请不要忘记迁移robots.txt文件。

有关机器人的更多信息

有关机器人的更多信息，请参阅 https://www.robotstxt.org/.

获得支持

如果您对SemrushBot有任何疑问，请通过 bot@semrush.com 与Semrush联系，Semrush将尽快回复。

SemrushBot需要一些时间来发现robots.txt文件中的变化。但是，如果您认为它长期以来一直忽略您的“robots.txt”规则，请向Semrush提供您的网站URL，显示SemrushBot抓取不应该抓取的页面的日志条目，Semrush将迅速解决问题。