注册
> 工具>蜘蛛查询工具

Mail.Ru bot

Mail.Ru bot蜘蛛/爬虫属于搜索引擎类型，由VK Group开发运行。您可以继续阅读下方信息，以深入了解Mail.Ru bot基本信息，用户代理和访问控制等。

基本信息

Mail.Ru bot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
Mail.Ru bot
类型
搜索引擎
开发商
VK Group
当前状态
活动

用户代理

关于Mail.Ru bot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU/2.0c
  • Mail.RU_Bot/Robots
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU/2.0
  • Mail.RU/2.0
  • Mail.Ru/1.0
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)
首次出现
2021-01-20 18:08:51
最后出现
2025-01-09 19:50:48
遵循robots.txt
未知
来源
IP地址(14) 服务器名称 所属国家
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
95.163.255.132 95.163.255.132 RU
95.163.255.147 fetcher15-6.go.mail.ru RU
95.163.255.137 95.163.255.137 RU
95.163.255.145 fetcher15-4.go.mail.ru RU
95.163.255.146 fetcher15-5.go.mail.ru RU
95.163.255.136 fetcher14-5.go.mail.ru RU
95.163.255.143 fetcher15-2.go.mail.ru RU
95.163.255.134 fetcher14-3.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出现
2013-05-24 00:51:05
最后出现
2022-08-01 05:30:28
遵循robots.txt
是
来源
IP地址(394) 服务器名称 所属国家
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
95.163.255.169 fetcher16-20.go.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.255.62 fetcher7-1.go.mail.ru RU
95.163.255.183 fetcher16-34.go.mail.ru RU
95.163.255.194 fetcher16-45.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出现
2013-11-01 08:30:00
最后出现
2022-05-06 09:58:58
遵循robots.txt
是
来源
IP地址(62) 服务器名称 所属国家
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.100 fetcher-img2-7.p.mail.ru RU
95.163.255.90 fetcher-img2-5.p.mail.ru RU
95.163.255.80 fetcher-img2-3.p.mail.ru RU
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.129 fetcher-img3-8.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出现
2013-11-01 08:30:00
最后出现
2022-05-06 09:58:58
遵循robots.txt
是
来源
IP地址(62) 服务器名称 所属国家
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.80 fetcher-img2-3.p.mail.ru RU
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.90 fetcher-img2-5.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.100 fetcher-img2-7.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots)
首次出现
2014-06-26 13:10:00
最后出现
2022-05-06 07:20:44
遵循robots.txt
是
来源
IP地址(22) 服务器名称 所属国家
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.129 fetcher13-8.go.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出现
2014-01-24 08:35:00
最后出现
2022-03-06 12:40:50
遵循robots.txt
是
来源
IP地址(56) 服务器名称 所属国家
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.255.118 fetcher-fast1-6.p.mail.ru RU
95.163.255.108 fetcher-fast1-4.p.mail.ru RU
95.163.36.12 fetcher-fast3-3.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
95.163.255.126 fetcher-fast1-1.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.255.125 fetcher-fast1.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.13 fetcher-fast2-5.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.255.128 fetcher-fast1-3.p.mail.ru RU
95.163.36.8 fetcher-fast2-4.p.mail.ru RU
95.163.36.15 fetcher-fast2-7.p.mail.ru RU
95.163.36.4 fetcher-fast2.p.mail.ru RU
95.163.36.14 fetcher-fast2-6.p.mail.ru RU
95.163.255.127 fetcher-fast1-2.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出现
2014-01-24 08:35:00
最后出现
2022-03-06 12:40:50
遵循robots.txt
是
来源
IP地址(56) 服务器名称 所属国家
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; http://go.mail.ru/help/robots)
首次出现
2018-03-17 13:35:40
最后出现
2020-05-05 04:34:01
遵循robots.txt
是
来源
IP地址(31) 服务器名称 所属国家
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
95.163.255.99 fetcher10-8.go.mail.ru RU
95.163.255.27 fetcher3-6.go.mail.ru RU
95.163.255.28 fetcher3-7.go.mail.ru RU
95.163.255.22 fetcher3-1.go.mail.ru RU
95.163.255.24 fetcher3-3.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出现
2018-04-19 01:08:34
最后出现
2020-04-12 21:58:06
遵循robots.txt
是
来源
IP地址(12) 服务器名称 所属国家
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
95.163.36.8 fetcher-fast2-4.p.mail.ru RU
95.163.255.108 fetcher-fast1-4.p.mail.ru RU
95.163.255.132 fetcher14-1.go.mail.ru RU
95.163.255.147 fetcher15-6.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.128 fetcher-fast1-3.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.129 fetcher13-8.go.mail.ru RU
95.163.255.145 fetcher15-4.go.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru RU
217.69.143.65 fetcher-img3-3.p.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.146 fetcher15-5.go.mail.ru RU
95.163.36.4 fetcher-fast2.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.255.143 fetcher15-2.go.mail.ru RU
95.163.255.137 95.163.255.137 RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.255.134 fetcher14-3.go.mail.ru RU
95.163.36.15 fetcher-fast2-7.p.mail.ru RU
95.163.255.102 fetcher11-1.go.mail.ru RU
95.163.255.136 fetcher14-5.go.mail.ru RU
95.163.255.118 fetcher-fast1-6.p.mail.ru RU
95.163.36.13 fetcher-fast2-5.p.mail.ru RU
95.163.255.127 fetcher-fast1-2.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.14 fetcher-fast2-6.p.mail.ru RU
95.163.255.126 fetcher-fast1-1.p.mail.ru RU
95.163.36.12 fetcher-fast3-3.p.mail.ru RU
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.125 fetcher-fast1.p.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.255.109 fetcher-fast1-5.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.106 fetcher11-5.go.mail.ru RU
176.112.170.226 srch-general-fetcher1-w-2.g.smailru.net RU
176.112.170.230 srch-general-fetcher1-w-6.g.smailru.net RU
176.112.170.229 srch-general-fetcher1-w-5.g.smailru.net RU
176.112.170.239 srch-general-fetcher2-w-7.g.smailru.net RU
176.112.170.227 srch-general-fetcher1-w-3.g.smailru.net RU
95.163.255.107 fetcher11-6.go.mail.ru RU
176.112.170.238 srch-general-fetcher2-w-6.g.smailru.net RU
176.112.170.231 srch-general-fetcher1-w-7.g.smailru.net RU
176.112.170.236 srch-general-fetcher2-w-4.g.smailru.net RU
176.112.170.237 srch-general-fetcher2-w-5.g.smailru.net RU
95.163.255.103 fetcher11-2.go.mail.ru RU
176.112.170.232 ? RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出现
2018-04-19 01:08:34
最后出现
2020-04-12 21:58:06
遵循robots.txt
未知
来源
IP地址(12) 服务器名称 所属国家
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru RU
217.69.143.65 fetcher-img3-3.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU/2.0c)
首次出现
2016-01-31 20:32:00
最后出现
2019-05-03 10:00:56
遵循robots.txt
是
来源
IP地址(2) 服务器名称 所属国家
188.93.56.216 ? RU
217.69.133.188 spider9.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots; +http://go.mail.ru/help/robots)
首次出现
2014-09-09 06:07:32
最后出现
2015-02-12 03:43:46
遵循robots.txt
是
来源
IP地址(10) 服务器名称 所属国家
217.69.143.71 fetcher-img3-9.p.mail.ru RU
217.69.143.62 fetcher-img3.p.mail.ru RU
217.69.143.69 fetcher-img3-7.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru DE
217.69.143.65 fetcher-img3-3.p.mail.ru DE
217.69.143.63 fetcher-img3-1.p.mail.ru DE
217.69.143.68 fetcher-img3-6.p.mail.ru DE
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.70 fetcher-img3-8.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru DE
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出现
2012-12-18 20:10:48
最后出现
2013-05-09 16:10:16
遵循robots.txt
是
来源
IP地址(6) 服务器名称 所属国家
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.133.68 fetcher2.mail.ru DE
217.69.134.79 fetcher5.mail.ru DE
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出现
2012-10-21 12:15:00
最后出现
2012-12-14 13:42:09
遵循robots.txt
是
来源
IP地址(4) 服务器名称 所属国家
95.163.255.156 fetcher16-7.go.mail.ru RU
95.163.255.170 fetcher16-21.go.mail.ru RU
95.163.255.185 fetcher16-36.go.mail.ru RU
95.163.255.187 fetcher16-38.go.mail.ru RU
95.163.255.157 fetcher16-8.go.mail.ru RU
95.163.255.173 fetcher16-24.go.mail.ru RU
95.163.255.161 fetcher16-12.go.mail.ru RU
95.163.255.166 fetcher16-17.go.mail.ru RU
95.163.255.172 95.163.255.172 RU
95.163.255.171 fetcher16-22.go.mail.ru RU
95.163.255.39 fetcher4-8.go.mail.ru RU
95.163.255.164 fetcher16-15.go.mail.ru RU
95.163.255.223 fetcher17-25.go.mail.ru RU
95.163.255.231 fetcher17-33.go.mail.ru RU
95.163.255.186 fetcher16-37.go.mail.ru RU
95.163.255.182 fetcher16-33.go.mail.ru RU
95.163.255.227 fetcher17-29.go.mail.ru RU
95.163.255.224 fetcher17-26.go.mail.ru RU
95.163.255.218 fetcher17-20.go.mail.ru RU
95.163.255.206 fetcher17-8.go.mail.ru RU
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
95.163.255.169 fetcher16-20.go.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.255.62 fetcher7-1.go.mail.ru RU
95.163.255.183 fetcher16-34.go.mail.ru RU
95.163.255.194 fetcher16-45.go.mail.ru RU
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
95.163.255.99 fetcher10-8.go.mail.ru RU
95.163.255.27 fetcher3-6.go.mail.ru RU
95.163.255.28 fetcher3-7.go.mail.ru RU
95.163.255.22 fetcher3-1.go.mail.ru RU
95.163.255.24 fetcher3-3.go.mail.ru RU
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.68 fetcher2.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.79 fetcher5.mail.ru DE
95.163.255.215 fetcher17-17.go.mail.ru RU
95.163.255.160 fetcher16-11.go.mail.ru RU
95.163.255.154 fetcher16-5.go.mail.ru RU
95.163.255.165 fetcher16-16.go.mail.ru RU
95.163.255.150 fetcher16-1.go.mail.ru RU
95.163.255.195 fetcher16-46.go.mail.ru RU
95.163.255.151 fetcher16-2.go.mail.ru RU
95.163.255.196 fetcher16-47.go.mail.ru RU
95.163.255.178 fetcher16-29.go.mail.ru RU
95.163.255.190 fetcher16-41.go.mail.ru RU
95.163.255.153 fetcher16-4.go.mail.ru RU
95.163.255.189 95.163.255.189 RU
95.163.255.167 fetcher16-18.go.mail.ru RU
95.163.255.174 fetcher16-25.go.mail.ru RU
95.163.255.197 fetcher16-48.go.mail.ru RU
95.163.255.181 fetcher16-32.go.mail.ru RU
95.163.255.175 fetcher16-26.go.mail.ru RU
95.163.255.188 fetcher16-39.go.mail.ru RU
95.163.255.179 fetcher16-30.go.mail.ru RU
95.163.255.163 fetcher16-14.go.mail.ru RU
95.163.255.184 fetcher16-35.go.mail.ru RU
95.163.255.180 fetcher16-31.go.mail.ru RU
95.163.255.32 fetcher4-1.go.mail.ru RU
95.163.255.158 fetcher16-9.go.mail.ru RU
95.163.255.192 fetcher16-43.go.mail.ru RU
95.163.255.201 fetcher17-3.go.mail.ru RU
95.163.255.155 fetcher16-6.go.mail.ru RU
95.163.255.214 fetcher17-16.go.mail.ru RU
95.163.255.202 fetcher17-4.go.mail.ru RU
95.163.255.238 fetcher17-40.go.mail.ru RU
95.163.255.193 fetcher16-44.go.mail.ru RU
95.163.255.177 fetcher16-28.go.mail.ru RU
95.163.255.226 fetcher17-28.go.mail.ru RU
95.163.255.18 fetcher2-7.go.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
95.163.255.69 fetcher7-8.go.mail.ru RU
95.163.255.13 fetcher2-2.go.mail.ru ?
95.163.255.162 fetcher16-13.go.mail.ru RU
95.163.255.37 fetcher4-6.go.mail.ru RU
95.163.255.66 fetcher7-5.go.mail.ru RU
95.163.255.176 fetcher16-27.go.mail.ru RU
95.163.255.168 fetcher16-19.go.mail.ru RU
95.163.255.191 fetcher16-42.go.mail.ru RU
95.163.255.96 fetcher10-5.go.mail.ru RU
95.163.255.159 fetcher16-10.go.mail.ru RU
95.163.255.229 fetcher17-31.go.mail.ru RU
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.53 fetcher6-2.go.mail.ru RU
95.163.255.211 fetcher17-13.go.mail.ru RU
95.163.255.200 fetcher17-2.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.239 fetcher17-41.go.mail.ru RU
95.163.255.17 fetcher17-44.go.mail.ru RU
95.163.255.38 fetcher4-7.go.mail.ru RU
95.163.255.36 fetcher4-5.go.mail.ru RU
95.163.255.26 fetcher3-5.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.255.33 fetcher4-2.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.34 fetcher4-3.go.mail.ru RU
95.163.255.25 fetcher3-4.go.mail.ru RU
176.112.170.226 srch-general-fetcher1-w-2.g.smailru.net RU
95.163.255.29 fetcher3-8.go.mail.ru RU
95.163.255.235 fetcher17-37.go.mail.ru RU
95.163.255.210 fetcher17-12.go.mail.ru RU
95.163.255.219 fetcher17-21.go.mail.ru RU
95.163.255.207 fetcher17-9.go.mail.ru RU
95.163.255.225 fetcher17-27.go.mail.ru RU
95.163.255.233 fetcher17-35.go.mail.ru RU
95.163.255.236 fetcher17-38.go.mail.ru RU
95.163.255.212 fetcher17-14.go.mail.ru RU
95.163.255.203 fetcher17-5.go.mail.ru RU
95.163.255.0 fetcher17-42.go.mail.ru RU
95.163.255.216 fetcher17-18.go.mail.ru RU
95.163.255.208 fetcher17-10.go.mail.ru RU
176.112.170.233 srch-general-fetcher2-w-1.g.smailru.net RU
95.163.255.222 fetcher17-24.go.mail.ru RU
95.163.255.1 fetcher17-43.go.mail.ru RU
95.163.255.237 fetcher17-39.go.mail.ru RU
95.163.255.205 fetcher17-7.go.mail.ru RU
176.112.170.236 srch-general-fetcher2-w-4.g.smailru.net RU
95.163.255.228 fetcher17-30.go.mail.ru RU
95.163.255.232 fetcher17-34.go.mail.ru RU
95.163.255.60 fetcher17-45.go.mail.ru RU
95.163.255.209 fetcher17-11.go.mail.ru RU
95.163.255.220 fetcher17-22.go.mail.ru RU
95.163.255.213 fetcher17-15.go.mail.ru RU
95.163.255.199 fetcher17-1.go.mail.ru RU
95.163.255.122 fetcher17-46.go.mail.ru RU
95.163.255.204 fetcher17-6.go.mail.ru RU
78.153.140.223 hostglobal.plus GB
95.163.255.230 fetcher17-32.go.mail.ru RU
95.163.255.123 fetcher17-47.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出现
2012-10-21 12:15:00
最后出现
2012-12-14 13:42:09
遵循robots.txt
是
来源
IP地址(4) 服务器名称 所属国家
217.69.134.79 fetcher5.mail.ru DE
217.69.133.67 fetcher1.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.133.70 fetcher4.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU/2.0)
首次出现
2012-04-11 17:25:45
最后出现
2012-10-18 11:48:35
遵循robots.txt
是
来源
IP地址(6) 服务器名称 所属国家
217.69.133.31 nipple4.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.30 nipple3.mail.ru RU
5.180.136.56 vds2359175.my-ihor.ru RU
用户代理字符串
Mail.RU/2.0
首次出现
2011-04-29 20:15:16
最后出现
2012-04-10 06:08:11
遵循robots.txt
是
来源
IP地址(5) 服务器名称 所属国家
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.31 nipple4.mail.ru RU
用户代理字符串
Mail.Ru/1.0
首次出现
2009-05-11 05:50:00
最后出现
2012-03-14 19:57:03
遵循robots.txt
是
来源
IP地址(19) 服务器名称 所属国家
217.69.134.172 spider17.mail.ru DE
94.100.181.242 spider7.mail.ru RU
217.69.134.173 spider18.mail.ru DE
94.100.181.80 aurora3.mail.ru RU
217.69.134.178 spider23.mail.ru RU
94.100.181.85 aurora8.mail.ru RU
217.69.134.179 wiper.p.mail.ru DE
94.100.181.86 aurora9.mail.ru RU
217.69.134.53 spider5.mail.ru DE
94.100.181.90 spider24.mail.ru RU
217.69.134.54 spider6.mail.ru DE
217.69.134.55 spider7.mail.ru DE
217.69.136.30 spider2.mail.ru DE
217.69.133.34 senderexim1.p.smailru.net DE
94.100.181.102 aurora4.mail.ru RU
217.69.134.167 spider12.mail.ru DE
94.100.181.107 spider2.mail.ru RU
217.69.134.168 spider13.mail.ru DE
94.100.181.240 spider5.mail.ru RU

访问控制

了解如何控制Mail.Ru bot访问权限，避免Mail.Ru bot抓取行为不当。

是否拦截Mail.Ru bot？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Mail.Ru bot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。 

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: Mail.Ru bot
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

搜索爬虫或蜘蛛（spider，crawler，bot）是一个在互联网上 “行走 “的程序，然后下载它们以便随后编制索引。在它下载了文件之后，机器人对其进行分析，定义其类型、编码、语言，并将页面的链接添加到队列中，以便进一步编制索引。机器人会定期返回以前访问过的网页，以检查其相关性。

除了索引整个互联网的主要机器人外，还有专门的机器人，分别下载图片、视频、新闻、rss等。通过这种方式，他们可以更迅速地对文件进行索引。

如何让Mail.Ru bot更快建立索引

有几个提示可以帮助加快你的网页的索引。

  1. 创建一个网站地图（如果你有一个大的网站，可以创建几个文件），其中包含一个用于索引的页面尿素列表。不要忘了更新它!
  2. 创建一个网站地图页面。你可以把你网站的所有重要页面的链接放在上面。
  3. 使用robots.txt。你可以用它来禁止对个别网页和网站部分进行索引，指定主要的网站主机（以避免对镜像进行索引），为访问网站页面设置一个时间延迟。
  4. 配置服务器，以便在出现错误的情况下给出正确的HTTP头信息。例如，如果该页面不存在，它应该返回一个404错误。

Mail.Ru bot如何出现在服务器日志中

Mail.Ru bot使用以下用户代理：

  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

如何检查一个爬虫是否来自go.mail.ru

为了验证一个爬虫是否真的属于Mail.ru，您需要做以下工作。

  • 从网络服务器的日志中找到你感兴趣的用户代理的IP地址。
  • 然后，通过对这个ip地址进行反向dns查询（例如*nix系统中的host命令），你可以确定其主机。我们的机器人进行查询的所有主机名都以mail.ru结尾。
  • 最为直接的方法是，在您的WordPress安装Spider Analyser插件或者通过蜘蛛查询在线工具，可以快速判断。

在主机不匹配的情况下，这可能意味着这个爬虫正在使用一个假的用户代理，不属于Mail.ru。

管理Mail.Ru bot行为的技术

元标签

Mail.Ru bot会考虑到放置在网站页面代码中的以下标签的内容。

  • <meta name=”keywords” content=”…”/> – 在确定页面与搜索查询的相关性时可以考虑到这一点。
  • <meta name=”Description” content=”…”/> – 这个标签的内容在片段中使用。
  • <meta http-equiv=”Content-Type” content=”type; charset=…”/> – 这个标签的值定义了文件的类型及其编码。
  • <meta http-equiv=”refresh” content=”N;url=_redirector_address” /> – 在给定页面的N秒后将用户重定向到url地址页面。如果N很小，它被认为是一个临时重定向，类似于HTTP代码302/303/307的服务器重定向。

Mail.ru机器人还在标签中考虑诸如以下的指示。

  • <meta name=”robots” content=”all”/> – 索引页面上的文本和链接，类似于<meta name=”robots” content=”index, follow”/>。
  • <meta name=”robots” content=”noindex” /> – 不允许对页面文本进行索引。
  • <meta name=”robots” content=”nofollow”/> – 禁止页面上的索引链接。然而，如果这些网页上其他地方有没有nofollow的链接，那么这些网页仍然可以被索引。
  • <meta name=”robots” content=”none”/> – 不允许索引页面上的文本和链接，类似于<meta name=”robots” content=”noindex, nofollow”/>。
  • <meta name=”robots” content=”noarchive”/> – 禁止在搜索结果页上链接到保存的副本。

如果在页面的代码中没有指定元标签，机器人会默认它们是 “正面 “的。在标签之间发生冲突的情况下，机器人会选择默认值。

例子。

<meta name="robots" content="all"/> 
<meta name="robots" content="noindex, follow"/>

由于标签的冲突，机器人将预取所有值，即文本和链接将被索引。

一个值为all的标签不适用于noarchive。

例子。

<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>

文本和链接将被编入索引，但在搜索结果中不会有与保存副本的链接。

Nofollow在标签中的含义

标签<a>中的nofollow值只适用于它所指定的链接。

<a href="url" rel="nofollow">链接文本</a>

标签中canonical的含义

这个值可以用来将机器人指向一个规范的页面，以防相同或非常相似的内容可以通过不同的链接进行检索。

示例：

//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date

几个页面显示相同的产品列表，按不同的字段排序。

你可以选择第一个链接作为标准链接，并在其他指定页面的<head>中放置以下标签

<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>

这样一来，只有规范的页面会被索引，避免了内容的重复。

Mail.Ru bot支持的编码和语言

目前，俄文、英文、白俄罗斯文、乌克兰文和哈萨克文的网页已被编入索引。所有常见的编码都被支持。

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
fynd.bot crawler
fynd.bot crawler蜘蛛/爬虫属于搜索引擎类型，由fynd.bot开发运行。您可以继续阅读下方信息，以深入了解fynd.bot crawler基本信息，用户代理和访问控制等。
Alibaba crawler
Alibaba crawler蜘蛛/爬虫属于搜索引擎类型，由Alibaba Group开发运行。您可以继续阅读下方信息，以深入了解Alibaba crawler基本信息，用户代理和访问控制等。
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型，由Google Inc.开发运行。您可以继续阅读下方信息，以深入了解GoogleBot基本信息，用户代理和访问控制等。
Swisscows Crawler
Swisscows Crawler蜘蛛/爬虫属于搜索引擎类型，由Swisscows AG开发运行。您可以继续阅读下方信息，以深入了解Swisscows Crawler基本信息，用户代理和访问控制等。
star-finder.de Bot
star-finder.de Bot蜘蛛/爬虫属于搜索引擎类型，由projektnet开发运行。您可以继续阅读下方信息，以深入了解star-finder.de Bot基本信息，用户代理和访问控制等。
SeznamBot
SeznamBot蜘蛛/爬虫属于搜索引擎类型，由Seznam.cz, a.s.开发运行。您可以继续阅读下方信息，以深入了解SeznamBot基本信息，用户代理和访问控制等。
MojeekBot
MojeekBot蜘蛛/爬虫属于搜索引擎类型，由Mojeek Ltd.开发运行。您可以继续阅读下方信息，以深入了解MojeekBot基本信息，用户代理和访问控制等。
Bravebot
Bravebot蜘蛛/爬虫属于搜索引擎类型，由Brave Software Inc.开发运行。您可以继续阅读下方信息，以深入了解Bravebot基本信息，用户代理和访问控制等。

相关文章

Related Articles
利用OpenAI Agent SDK防护机制确保教育支持系统的完整性特色图
利用OpenAI Agent SDK防护机制确保教育支持系统的完整性
随着 OpenAI Agent SDK 的发布，开发人员现在拥有了构建智能系统的强大工具。其中最重要的一项功能是 Guardrails（防护机制），它可以过滤不需要的请求，帮助维护系统的完整性。这一功能在教育环境中尤为重要，因为在教育环境中，区分真正的学习支持和试图绕过学术道德的行为可能具有挑战性。 在本文中，我将展示一个在教育支持助理中使用 Guardrails 的实用而有影响力的案例。通过利用 Guardrails，我成功地阻止了不恰当的作业辅导请求，同时确保了真正的概念学习问题得到有效处理。 学习目标 了解 Guardrails 通过过滤不适当的请求来维护人工智能完整性的作用。 探索在教…