注册
繁體
> 工具>蜘蛛查询工具

Mail.Ru bot

Mail.Ru bot蜘蛛/爬虫属于搜索引擎类型，由VK Group开发运行。您可以继续阅读下方信息，以深入了解Mail.Ru bot基本信息，用户代理和访问控制等。

基本信息

Mail.Ru bot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
Mail.Ru bot
类型
搜索引擎
开发商
VK Group
当前状态
活动

用户代理

关于Mail.Ru bot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU/2.0c
  • Mail.RU_Bot/Robots
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU/2.0
  • Mail.RU/2.0
  • Mail.Ru/1.0
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)
首次出现
2021-01-20 18:08:51
最后出现
2025-01-09 19:50:48
遵循robots.txt
未知
来源
IP地址(14) 服务器名称 所属国家
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出现
2013-05-24 00:51:05
最后出现
2022-08-01 05:30:28
遵循robots.txt
是
来源
IP地址(10) 服务器名称 所属国家
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出现
2013-11-01 08:30:00
最后出现
2022-05-06 09:58:58
遵循robots.txt
是
来源
IP地址(20) 服务器名称 所属国家
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出现
2013-11-01 08:30:00
最后出现
2022-05-06 09:58:58
遵循robots.txt
是
来源
IP地址(10) 服务器名称 所属国家
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots)
首次出现
2014-06-26 13:10:00
最后出现
2022-05-06 07:20:44
遵循robots.txt
是
来源
IP地址(10) 服务器名称 所属国家
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出现
2014-01-24 08:35:00
最后出现
2022-03-06 12:40:50
遵循robots.txt
是
来源
IP地址(29) 服务器名称 所属国家
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出现
2014-01-24 08:35:00
最后出现
2022-03-06 12:40:50
遵循robots.txt
是
来源
IP地址(10) 服务器名称 所属国家
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; http://go.mail.ru/help/robots)
首次出现
2018-03-17 13:35:40
最后出现
2020-05-05 04:34:01
遵循robots.txt
是
来源
IP地址(10) 服务器名称 所属国家
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出现
2018-04-19 01:08:34
最后出现
2020-04-12 21:58:06
遵循robots.txt
是
来源
IP地址(67) 服务器名称 所属国家
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出现
2018-04-19 01:08:34
最后出现
2020-04-12 21:58:06
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU/2.0c)
首次出现
2016-01-31 20:32:00
最后出现
2019-05-03 10:00:56
遵循robots.txt
是
来源
IP地址(2) 服务器名称 所属国家
188.93.56.216 ? RU
217.69.133.188 spider9.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots; +http://go.mail.ru/help/robots)
首次出现
2014-09-09 06:07:32
最后出现
2015-02-12 03:43:46
遵循robots.txt
是
来源
IP地址(10) 服务器名称 所属国家
217.69.143.71 fetcher-img3-9.p.mail.ru RU
217.69.143.62 fetcher-img3.p.mail.ru RU
217.69.143.69 fetcher-img3-7.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru DE
217.69.143.65 fetcher-img3-3.p.mail.ru DE
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出现
2012-12-18 20:10:48
最后出现
2013-05-09 16:10:16
遵循robots.txt
是
来源
IP地址(6) 服务器名称 所属国家
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.133.68 fetcher2.mail.ru DE
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出现
2012-10-21 12:15:00
最后出现
2012-12-14 13:42:09
遵循robots.txt
是
来源
IP地址(139) 服务器名称 所属国家
95.163.255.156 fetcher16-7.go.mail.ru RU
95.163.255.170 fetcher16-21.go.mail.ru RU
95.163.255.185 fetcher16-36.go.mail.ru RU
95.163.255.187 fetcher16-38.go.mail.ru RU
95.163.255.157 fetcher16-8.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出现
2012-10-21 12:15:00
最后出现
2012-12-14 13:42:09
遵循robots.txt
是
来源
IP地址(4) 服务器名称 所属国家
217.69.134.79 fetcher5.mail.ru DE
217.69.133.67 fetcher1.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.133.70 fetcher4.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU/2.0)
首次出现
2012-04-11 17:25:45
最后出现
2012-10-18 11:48:35
遵循robots.txt
是
来源
IP地址(7) 服务器名称 所属国家
217.69.133.31 nipple4.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
用户代理字符串
Mail.RU/2.0
首次出现
2011-04-29 20:15:16
最后出现
2012-04-10 06:08:11
遵循robots.txt
是
来源
IP地址(5) 服务器名称 所属国家
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.31 nipple4.mail.ru RU
用户代理字符串
Mail.Ru/1.0
首次出现
2009-05-11 05:50:00
最后出现
2012-03-14 19:57:03
遵循robots.txt
是
来源
IP地址(19) 服务器名称 所属国家
217.69.134.172 spider17.mail.ru DE
94.100.181.242 spider7.mail.ru RU
217.69.134.173 spider18.mail.ru DE
94.100.181.80 aurora3.mail.ru RU
217.69.134.178 spider23.mail.ru RU

访问控制

了解如何控制Mail.Ru bot访问权限，避免Mail.Ru bot抓取行为不当。

是否拦截Mail.Ru bot？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Mail.Ru bot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。 

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Mail.Ru bot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

搜索爬虫或蜘蛛（spider，crawler，bot）是一个在互联网上 “行走 “的程序，然后下载它们以便随后编制索引。在它下载了文件之后，机器人对其进行分析，定义其类型、编码、语言，并将页面的链接添加到队列中，以便进一步编制索引。机器人会定期返回以前访问过的网页，以检查其相关性。

除了索引整个互联网的主要机器人外，还有专门的机器人，分别下载图片、视频、新闻、rss等。通过这种方式，他们可以更迅速地对文件进行索引。

如何让Mail.Ru bot更快建立索引

有几个提示可以帮助加快你的网页的索引。

  1. 创建一个网站地图（如果你有一个大的网站，可以创建几个文件），其中包含一个用于索引的页面尿素列表。不要忘了更新它!
  2. 创建一个网站地图页面。你可以把你网站的所有重要页面的链接放在上面。
  3. 使用robots.txt。你可以用它来禁止对个别网页和网站部分进行索引，指定主要的网站主机（以避免对镜像进行索引），为访问网站页面设置一个时间延迟。
  4. 配置服务器，以便在出现错误的情况下给出正确的HTTP头信息。例如，如果该页面不存在，它应该返回一个404错误。

Mail.Ru bot如何出现在服务器日志中

Mail.Ru bot使用以下用户代理：

  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

如何检查一个爬虫是否来自go.mail.ru

为了验证一个爬虫是否真的属于Mail.ru，您需要做以下工作。

  • 从网络服务器的日志中找到你感兴趣的用户代理的IP地址。
  • 然后，通过对这个ip地址进行反向dns查询（例如*nix系统中的host命令），你可以确定其主机。我们的机器人进行查询的所有主机名都以mail.ru结尾。
  • 最为直接的方法是，在您的WordPress安装Spider Analyser插件或者通过蜘蛛查询在线工具，可以快速判断。

在主机不匹配的情况下，这可能意味着这个爬虫正在使用一个假的用户代理，不属于Mail.ru。

管理Mail.Ru bot行为的技术

元标签

Mail.Ru bot会考虑到放置在网站页面代码中的以下标签的内容。

  • <meta name=”keywords” content=”…”/> – 在确定页面与搜索查询的相关性时可以考虑到这一点。
  • <meta name=”Description” content=”…”/> – 这个标签的内容在片段中使用。
  • <meta http-equiv=”Content-Type” content=”type; charset=…”/> – 这个标签的值定义了文件的类型及其编码。
  • <meta http-equiv=”refresh” content=”N;url=_redirector_address” /> – 在给定页面的N秒后将用户重定向到url地址页面。如果N很小，它被认为是一个临时重定向，类似于HTTP代码302/303/307的服务器重定向。

Mail.ru机器人还在标签中考虑诸如以下的指示。

  • <meta name=”robots” content=”all”/> – 索引页面上的文本和链接，类似于<meta name=”robots” content=”index, follow”/>。
  • <meta name=”robots” content=”noindex” /> – 不允许对页面文本进行索引。
  • <meta name=”robots” content=”nofollow”/> – 禁止页面上的索引链接。然而，如果这些网页上其他地方有没有nofollow的链接，那么这些网页仍然可以被索引。
  • <meta name=”robots” content=”none”/> – 不允许索引页面上的文本和链接，类似于<meta name=”robots” content=”noindex, nofollow”/>。
  • <meta name=”robots” content=”noarchive”/> – 禁止在搜索结果页上链接到保存的副本。

如果在页面的代码中没有指定元标签，机器人会默认它们是 “正面 “的。在标签之间发生冲突的情况下，机器人会选择默认值。

例子。

<meta name="robots" content="all"/> 
<meta name="robots" content="noindex, follow"/>

由于标签的冲突，机器人将预取所有值，即文本和链接将被索引。

一个值为all的标签不适用于noarchive。

例子。

<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>

文本和链接将被编入索引，但在搜索结果中不会有与保存副本的链接。

Nofollow在标签中的含义

标签<a>中的nofollow值只适用于它所指定的链接。

<a href="url" rel="nofollow">链接文本</a>

标签中canonical的含义

这个值可以用来将机器人指向一个规范的页面，以防相同或非常相似的内容可以通过不同的链接进行检索。

示例：

//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date

几个页面显示相同的产品列表，按不同的字段排序。

你可以选择第一个链接作为标准链接，并在其他指定页面的<head>中放置以下标签

<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>

这样一来，只有规范的页面会被索引，避免了内容的重复。

Mail.Ru bot支持的编码和语言

目前，俄文、英文、白俄罗斯文、乌克兰文和哈萨克文的网页已被编入索引。所有常见的编码都被支持。

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
Wrenni bot
MokaPot crawler
ExaSearchBot
CreaSource bot
MarginaliaBot
Loaded Search bot
Greppr crawler
MetaCrawler

相关文章

Related Articles