Awario crawler Awario crawler

蜘蛛/爬虫名称
Awario crawler
开发商
Link-Assistant.Com
官网
www.link-assistant.com
当前状态
活动
  • AwarioBot/1.0
  • AwarioSmartBot/1.0
  • AwarioRssBot/1.0
用户代理字符串
Mozilla/5.0 (compatible; AwarioBot/1.0; +https://awario.com/bots.html)
类型
营销
首次出现
2023-01-18 01:15:42
最后出现
2024-02-29 09:56:10
遵循robots.txt
IP地址
17
来源
IP地址 服务器名称 所属国家
94.130.216.182 pot17.webmeup.com DE
94.130.237.168 pot61.webmeup.com DE
94.130.237.99 pot51.webmeup.com DE
176.9.25.75 pot25.webmeup.com DE
176.9.10.174 pot12.webmeup.com DE
94.130.237.97 pot53.webmeup.com DE
46.4.105.24 pot45.webmeup.com DE
46.4.120.165 pot11.webmeup.com DE
94.130.219.230 pot9.webmeup.com DE
94.130.236.180 pot32.webmeup.com DE
94.130.237.95 pot55.webmeup.com DE
88.99.90.46 pot30.webmeup.com DE
88.99.251.222 pot21.webmeup.com DE
46.4.107.145 pot35.webmeup.com DE
46.4.104.16 pot44.webmeup.com DE
88.99.150.47 pot18.webmeup.com DE
用户代理字符串
AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
类型
营销
首次出现
2017-05-26 10:53:46
最后出现
2024-01-07 23:53:33
遵循robots.txt
IP地址
5
来源
IP地址 服务器名称 所属国家
2a01:4f8:212:246a::2 2a01:4f8:212:246a::2 DE
116.202.246.181 node01.belprime.net DE
136.243.70.68 rtc-fetcher1.awar.io DE
138.201.252.169 datanode9.webmeup.com DE
2a01:4f8:171:2a14::2 2a01:4f8:171:2a14::2 DE
用户代理字符串
AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
类型
信息流
首次出现
2018-01-21 00:11:55
最后出现
2019-08-21 13:47:43
遵循robots.txt
IP地址
3
来源
IP地址 服务器名称 所属国家
88.99.2.203 rss-crawler3.awar.io DE
88.99.136.237 rss-crawler2.awar.io DE
88.99.62.159 rss-crawler1.awar.io DE

机器人,也被称为网络机器人、网络蜘蛛或网络爬虫,是一种软件应用程序,旨在以比人类更有效、更有条理和更简洁的方式自动执行简单和重复的任务。机器人最常见的用途是在网络蜘蛛或网络爬行中。

AwarioSmartBot和AwarioRssBot是Awario发送的合法网络爬虫,用于发现和收集新的和更新的网络数据(这些数据被世界各地的互联网营销人员进一步使用)。

AwarioSmartBot和AwarioRssBot爬虫通过具有以下形式的用户代理来识别:

AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBot和AwarioRssBot爬虫可以通过上面的用户代理来识别。请不要试图通过IP来识别机器人,因为我们不使用任何连续的IP块。

我们关心你的网站的性能

AwarioSmartBot和AwarioRssBot是非常友好的网站爬虫。我们让它们在抓取网站时尽可能地 “温柔”:它们每3秒只发出一次请求,如果在你的robots.txt文件中指定了另一个抓取延迟,则会更频繁。这些机器人尊重你在 robots.txt 文件中指定的规则。

如果出现任何问题,可能是由于你的特定网站的特殊性,或链接到你的其他网站的错误。因此,我们想请你 – 如果你注意到Awario机器人的任何问题,请报告给bots@awario.com。我们将迅速为您的特定网站进行独特的设置,使抓取永远不会影响您网站的性能。

为什么他们会抓取我的网站?

AwarioSmartBot和AwarioRssBot收集网络数据,这些数据被Awario应用程序进一步使用,让网络营销人员发现谁在网上提到他们的品牌。

如果AwarioSmartBot/AwarioRssBot爬虫访问过你的页面,这意味着其内容从未被收集和分析过,也不需要刷新。由于这个原因,你不会看到AwarioSmartBot/AwarioRssBot爬虫对同一页面的重复请求。

用robots.txt进行拦截

AwarioSmartBot和AwarioRssBot是:

  1. 只收集可由任何随机访问者访问的公开信息。如果你认为爬虫收集了一些敏感信息,请将其从公开访问中删除。
  2. 不能使你的网站过载并对其造成任何伤害–Awario机器人的设计非常有礼貌,它们每3秒最多只能进行一次点击。此外,你可以通过robots.txt文件中的指令轻松减缓机器人的速度。

然而,即使Awario机器人是无害的,你仍然可能想阻止机器人抓取你的网站。最简单、最快速的方法是使用 “robots.txt”。这个文本文件包含关于机器人应如何处理你的网站数据的指示。
使用robots.txt文件,你可以阻止Awario爬虫进入你的网站,或减缓它们的速度,如以下例子所示:

禁用抓取你的网站的特定部分

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /private/

整站禁用抓取

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /

限制爬虫频率

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Crawl-delay: 10

关于爬虫的更多信息

关于爬虫的更多信息,请参考http://www.robotstxt.org/。

获得支持

如果您对AwarioSmartBot或AwarioRssBot仍有任何疑问,请通过邮箱取得联系:bots@awario.com。

常见问题

FAQs
查看更多 >