Awario crawler

是否拦截Awario crawler？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Awario crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Awario crawler
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

机器人，也被称为网络机器人、网络蜘蛛或网络爬虫，是一种软件应用程序，旨在以比人类更有效、更有条理和更简洁的方式自动执行简单和重复的任务。机器人最常见的用途是在网络蜘蛛或网络爬行中。

AwarioSmartBot和AwarioRssBot是Awario发送的合法网络爬虫，用于发现和收集新的和更新的网络数据（这些数据被世界各地的互联网营销人员进一步使用）。

AwarioSmartBot和AwarioRssBot爬虫通过具有以下形式的用户代理来识别：

AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBot和AwarioRssBot爬虫可以通过上面的用户代理来识别。请不要试图通过IP来识别机器人，因为我们不使用任何连续的IP块。

我们关心你的网站的性能

AwarioSmartBot和AwarioRssBot是非常友好的网站爬虫。我们让它们在抓取网站时尽可能地 “温柔”：它们每3秒只发出一次请求，如果在你的robots.txt文件中指定了另一个抓取延迟，则会更频繁。这些机器人尊重你在 robots.txt 文件中指定的规则。

如果出现任何问题，可能是由于你的特定网站的特殊性，或链接到你的其他网站的错误。因此，我们想请你 – 如果你注意到Awario机器人的任何问题，请报告给bots@awario.com。我们将迅速为您的特定网站进行独特的设置，使抓取永远不会影响您网站的性能。

为什么他们会抓取我的网站？

AwarioSmartBot和AwarioRssBot收集网络数据，这些数据被Awario应用程序进一步使用，让网络营销人员发现谁在网上提到他们的品牌。

如果AwarioSmartBot/AwarioRssBot爬虫访问过你的页面，这意味着其内容从未被收集和分析过，也不需要刷新。由于这个原因，你不会看到AwarioSmartBot/AwarioRssBot爬虫对同一页面的重复请求。

用robots.txt进行拦截

AwarioSmartBot和AwarioRssBot是：

1. 只收集可由任何随机访问者访问的公开信息。如果你认为爬虫收集了一些敏感信息，请将其从公开访问中删除。
2. 不能使你的网站过载并对其造成任何伤害–Awario机器人的设计非常有礼貌，它们每3秒最多只能进行一次点击。此外，你可以通过robots.txt文件中的指令轻松减缓机器人的速度。

然而，即使Awario机器人是无害的，你仍然可能想阻止机器人抓取你的网站。最简单、最快速的方法是使用 “robots.txt”。这个文本文件包含关于机器人应如何处理你的网站数据的指示。
使用robots.txt文件，你可以阻止Awario爬虫进入你的网站，或减缓它们的速度，如以下例子所示：

禁用抓取你的网站的特定部分

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /private/

整站禁用抓取

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /

限制爬虫频率

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Crawl-delay: 10

关于爬虫的更多信息

关于爬虫的更多信息，请参考http://www.robotstxt.org/。

获得支持

如果您对AwarioSmartBot或AwarioRssBot仍有任何疑问，请通过邮箱取得联系：bots@awario.com。