

IP地址(34) | 服务器名称 | 所属国家 |
---|---|---|
94.130.216.182 | pot17.webmeup.com | DE |
94.130.237.168 | pot61.webmeup.com | DE |
94.130.237.99 | pot51.webmeup.com | DE |
176.9.25.75 | pot25.webmeup.com | DE |
176.9.10.174 | pot12.webmeup.com | DE |
94.130.237.97 | pot53.webmeup.com | DE |
46.4.105.24 | pot45.webmeup.com | DE |
46.4.120.165 | pot11.webmeup.com | DE |
94.130.219.230 | pot9.webmeup.com | DE |
94.130.236.180 | pot32.webmeup.com | DE |
94.130.237.95 | pot55.webmeup.com | DE |
88.99.90.46 | pot30.webmeup.com | DE |
88.99.251.222 | pot21.webmeup.com | DE |
46.4.107.145 | pot35.webmeup.com | DE |
46.4.104.16 | pot44.webmeup.com | DE |
88.99.150.47 | pot18.webmeup.com | DE |
88.99.250.16 | pot27.webmeup.com | DE |
116.202.246.181 | node01.belprime.net | DE |
65.21.113.251 | pot30.webmeup.com | FI |
65.21.113.242 | pot39.webmeup.com | FI |
37.27.129.137 | pot11.webmeup.com | FI |
65.21.113.246 | pot35.webmeup.com | FI |
65.21.113.243 | pot38.webmeup.com | FI |
65.21.113.202 | pot17.webmeup.com | FI |
65.21.113.200 | pot19.webmeup.com | FI |
37.27.129.201 | pot12.webmeup.com | FI |
65.21.113.194 | pot25.webmeup.com | FI |
65.21.113.205 | pot14.webmeup.com | FI |
65.21.46.73 | pot9.webmeup.com | FI |
65.21.113.249 | pot32.webmeup.com | FI |
65.109.35.209 | pot1.webmeup.com | FI |
65.21.113.198 | pot21.webmeup.com | FI |
65.21.44.205 | pot8.webmeup.com | FI |
IP地址(6) | 服务器名称 | 所属国家 |
---|---|---|
2a01:4f8:212:246a::2 | 2a01:4f8:212:246a::2 | DE |
116.202.246.181 | node01.belprime.net | DE |
136.243.70.68 | rtc-fetcher1.awar.io | DE |
138.201.252.169 | datanode9.webmeup.com | DE |
2a01:4f8:171:2a14::2 | 2a01:4f8:171:2a14::2 | DE |
2a01:4f8:222:c9c::2 | 2a01:4f8:222:c9c::2 | DE |
IP地址(3) | 服务器名称 | 所属国家 |
---|---|---|
88.99.2.203 | rss-crawler3.awar.io | DE |
88.99.136.237 | rss-crawler2.awar.io | DE |
88.99.62.159 | rss-crawler1.awar.io | DE |
一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Awario crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Awario crawler Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
机器人,也被称为网络机器人、网络蜘蛛或网络爬虫,是一种软件应用程序,旨在以比人类更有效、更有条理和更简洁的方式自动执行简单和重复的任务。机器人最常见的用途是在网络蜘蛛或网络爬行中。
AwarioSmartBot和AwarioRssBot是Awario发送的合法网络爬虫,用于发现和收集新的和更新的网络数据(这些数据被世界各地的互联网营销人员进一步使用)。
AwarioSmartBot和AwarioRssBot爬虫通过具有以下形式的用户代理来识别:
AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com) AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBot和AwarioRssBot爬虫可以通过上面的用户代理来识别。请不要试图通过IP来识别机器人,因为我们不使用任何连续的IP块。
AwarioSmartBot和AwarioRssBot是非常友好的网站爬虫。我们让它们在抓取网站时尽可能地 “温柔”:它们每3秒只发出一次请求,如果在你的robots.txt文件中指定了另一个抓取延迟,则会更频繁。这些机器人尊重你在 robots.txt 文件中指定的规则。
如果出现任何问题,可能是由于你的特定网站的特殊性,或链接到你的其他网站的错误。因此,我们想请你 – 如果你注意到Awario机器人的任何问题,请报告给bots@awario.com。我们将迅速为您的特定网站进行独特的设置,使抓取永远不会影响您网站的性能。
AwarioSmartBot和AwarioRssBot收集网络数据,这些数据被Awario应用程序进一步使用,让网络营销人员发现谁在网上提到他们的品牌。
如果AwarioSmartBot/AwarioRssBot爬虫访问过你的页面,这意味着其内容从未被收集和分析过,也不需要刷新。由于这个原因,你不会看到AwarioSmartBot/AwarioRssBot爬虫对同一页面的重复请求。
AwarioSmartBot和AwarioRssBot是:
然而,即使Awario机器人是无害的,你仍然可能想阻止机器人抓取你的网站。最简单、最快速的方法是使用 “robots.txt”。这个文本文件包含关于机器人应如何处理你的网站数据的指示。
使用robots.txt文件,你可以阻止Awario爬虫进入你的网站,或减缓它们的速度,如以下例子所示:
禁用抓取你的网站的特定部分
User-agent: AwarioRssBot User-agent: AwarioSmartBot Disallow: /private/
整站禁用抓取
User-agent: AwarioRssBot User-agent: AwarioSmartBot Disallow: /
限制爬虫频率
User-agent: AwarioRssBot User-agent: AwarioSmartBot Crawl-delay: 10
关于爬虫的更多信息,请参考http://www.robotstxt.org/。
如果您对AwarioSmartBot或AwarioRssBot仍有任何疑问,请通过邮箱取得联系:bots@awario.com。