AhrefsBot

是否拦截AhrefsBot？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 AhrefsBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: AhrefsBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

什么是AhrefsBot？

AhrefsBot是一个网络爬虫，为Ahrefs在线营销工具集的12万亿链接数据库提供动力。它不断地抓取网络，使我们的数据库充满新的链接，并检查以前发现的链接的状态，以便向我们的用户提供最全面和最新的数据。

Ahrefs Bot从网上收集的链接数据被世界各地成千上万的数字营销人员用来计划、执行和监测他们的网络营销活动。

这些数据对搜索引擎社区有巨大的价值，因为它帮助营销专家更好地了解世界上最大的搜索引擎的基本算法，以便他们能够相应地优化网站。每24小时，我们的爬虫会访问60多亿个网页，每15-30分钟更新一次Ahrefs的索引。

根据最近一项关于 “好的爬虫 “的第三方研究，AhrefsBot是仅次于Googlebot的第二大活跃爬虫。

AhrefsBot在您的网站上做什么？

AhrefsBot正在抓取您的网站，对外向链接进行记录，并将它们添加到我们的数据库中。它将定期重新抓取您的网站，检查以前发现的链接的当前状态。

我们的爬虫不会收集或储存有关您网站的任何其他信息。它不会在您的网站上触发广告（如果有的话），也不会为您的谷歌分析流量添加数字。

它是否遵守robots.txt文件？

AhrefsBot严格遵守robots.txt，包括禁止和允许规则。

如何控制您网站上的AhrefsBot？

如上所述，AhrefsBot严格遵守您网站上的robots.txt文件。因此，如果你需要，你可以在你的网站上完全控制它。

要改变AhrefsBot访问您网站的频率，您可以在您的robots.txt文件中指定我们的机器人连续两次请求之间的最小可接受延迟。

User-agent: AhrefsBotCrawl-Delay: [value]

其中Crawl-Delay值是以秒为单位的时间。

如果由于某种原因，你想阻止AhrefsBot访问你的网站，请在你的服务器上的robots.txt文件中放入以下两行：

User-agent: AhrefsBotDisallow: /

请注意，AhrefsBot可能需要一些时间来选择你的robots.txt文件中的变化。这将在每次预定抓取之前进行。

还请注意，如果您的robots.txt包含错误，AhrefsBot将无法识别您的命令，它将继续按照以前的方式抓取您的网站。

阅读更多关于robots.txt的信息，请访问www.robotstxt.org。

如果您认为AhrefsBot在您的网站上有某种程度的不当行为，或者您对它有任何疑问，请毫不犹豫地联系AhrefsBot的支持团队support@ahrefs.com。