Mail.Ru bot

蜘蛛/爬虫名称: Mail.Ru bot

开发商: VK Group

官网: vk.company

当前状态: 活动

Mail.RU_Bot/Favicons/2.0
Mail.RU_Bot/2.0
Mail.RU_Bot/Img/2.0
Mail.RU_Bot/Img/2.0
Mail.RU_Bot/Robots/2.0
Mail.RU_Bot/Fast/2.0
Mail.RU_Bot/Fast/2.0
Mail.RU_Bot/2.0
Mail.RU_Bot/Robots/2.0
Mail.RU_Bot/Robots/2.0
Mail.RU/2.0c
Mail.RU_Bot/Robots
Mail.RU_Bot/2.0
Mail.RU_Bot/2.0
Mail.RU_Bot/2.0
Mail.RU/2.0
Mail.RU/2.0
Mail.Ru/1.0

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

类型

首次出现: 2021-01-20 18:08:51

最后出现: 2024-04-28 04:21:39

遵循robots.txt

IP地址: 14

来源

IP地址	服务器名称	所属国家
95.163.255.144	fetcher15-3.go.mail.ru	RU
95.163.255.149	fetcher15-8.go.mail.ru	RU
95.163.255.135	fetcher14-4.go.mail.ru	RU
95.163.255.133	fetcher14-2.go.mail.ru	RU
95.163.255.142	fetcher15-1.go.mail.ru	RU
95.163.255.148	fetcher15-7.go.mail.ru	RU
95.163.255.132	95.163.255.132	RU
95.163.255.147	fetcher15-6.go.mail.ru	RU
95.163.255.137	95.163.255.137	RU
95.163.255.145	fetcher15-4.go.mail.ru	RU
95.163.255.146	fetcher15-5.go.mail.ru	RU
95.163.255.136	fetcher14-5.go.mail.ru	RU
95.163.255.143	fetcher15-2.go.mail.ru	RU
95.163.255.134	fetcher14-3.go.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2013-05-24 00:51:05

最后出现: 2022-08-01 05:30:28

遵循robots.txt: 是

IP地址: 394

来源

IP地址	服务器名称	所属国家
195.211.23.207	snipster23.go.mail.ru	RU
95.163.255.63	fetcher7-2.go.mail.ru	RU
95.163.255.6	fetcher1-5.go.mail.ru	RU
95.163.255.3	fetcher1-2.go.mail.ru	RU
95.163.255.152	fetcher16-3.go.mail.ru	RU
95.163.255.169	fetcher16-20.go.mail.ru	RU
95.163.255.65	fetcher7-4.go.mail.ru	RU
95.163.255.62	fetcher7-1.go.mail.ru	RU
95.163.255.183	fetcher16-34.go.mail.ru	RU
95.163.255.194	fetcher16-45.go.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2013-11-01 08:30:00

最后出现: 2022-05-06 09:58:58

遵循robots.txt: 是

IP地址: 62

来源

IP地址	服务器名称	所属国家
95.163.255.81	fetcher-img2-4.p.mail.ru	RU
95.163.255.71	fetcher-img2-2.p.mail.ru	RU
95.163.255.101	fetcher-img2-8.p.mail.ru	RU
95.163.255.91	fetcher-img2-6.p.mail.ru	RU
95.163.255.61	fetcher-img2.p.mail.ru	RU
95.163.255.100	fetcher-img2-7.p.mail.ru	RU
95.163.255.90	fetcher-img2-5.p.mail.ru	RU
95.163.255.80	fetcher-img2-3.p.mail.ru	RU
95.163.255.110	fetcher-img2-9.p.mail.ru	RU
95.163.255.70	fetcher-img2-1.p.mail.ru	RU
95.163.255.129	fetcher-img3-8.p.mail.ru	RU
95.163.255.120	fetcher-img3-1.p.mail.ru	RU
95.163.255.198	fetcher-img3-7.p.mail.ru	RU
95.163.255.140	fetcher-img3-5.p.mail.ru	RU
95.163.255.138	fetcher-img3-9.p.mail.ru	RU
95.163.255.141	fetcher-img3-6.p.mail.ru	RU
95.163.255.121	fetcher-img3-2.p.mail.ru	RU
95.163.255.111	fetcher-img3.p.mail.ru	RU
95.163.255.131	fetcher-img3-4.p.mail.ru	RU
95.163.255.130	fetcher-img3-3.p.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2013-11-01 08:30:00

最后出现: 2022-05-06 09:58:58

遵循robots.txt: 是

IP地址: 62

来源

IP地址	服务器名称	所属国家
95.163.255.110	fetcher-img2-9.p.mail.ru	RU
95.163.255.101	fetcher-img2-8.p.mail.ru	RU
95.163.255.61	fetcher-img2.p.mail.ru	RU
95.163.255.70	fetcher-img2-1.p.mail.ru	RU
95.163.255.71	fetcher-img2-2.p.mail.ru	RU
95.163.255.80	fetcher-img2-3.p.mail.ru	RU
95.163.255.81	fetcher-img2-4.p.mail.ru	RU
95.163.255.90	fetcher-img2-5.p.mail.ru	RU
95.163.255.91	fetcher-img2-6.p.mail.ru	RU
95.163.255.100	fetcher-img2-7.p.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2014-06-26 13:10:00

最后出现: 2022-05-06 07:20:44

遵循robots.txt: 是

IP地址: 22

来源

IP地址	服务器名称	所属国家
95.163.255.131	fetcher-img3-4.p.mail.ru	RU
95.163.255.130	fetcher-img3-3.p.mail.ru	RU
95.163.255.140	fetcher-img3-5.p.mail.ru	RU
95.163.255.111	fetcher-img3.p.mail.ru	RU
95.163.255.198	fetcher-img3-7.p.mail.ru	RU
95.163.255.121	fetcher-img3-2.p.mail.ru	RU
95.163.255.120	fetcher-img3-1.p.mail.ru	RU
95.163.255.141	fetcher-img3-6.p.mail.ru	RU
95.163.255.129	fetcher13-8.go.mail.ru	RU
95.163.255.138	fetcher-img3-9.p.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2014-01-24 08:35:00

最后出现: 2022-03-06 12:40:50

遵循robots.txt: 是

IP地址: 56

来源

IP地址	服务器名称	所属国家
95.163.36.10	fetcher-fast3-1.p.mail.ru	RU
95.163.255.119	fetcher-fast1-7.p.mail.ru	RU
95.163.36.7	fetcher-fast2-3.p.mail.ru	RU
95.163.36.18	fetcher-fast3-6.p.mail.ru	RU
95.163.255.68	fetcher7-7.go.mail.ru	RU
95.163.36.16	fetcher-fast3-4.p.mail.ru	RU
95.163.255.65	fetcher7-4.go.mail.ru	RU
95.163.36.17	fetcher-fast3-5.p.mail.ru	RU
95.163.255.118	fetcher-fast1-6.p.mail.ru	RU
95.163.255.108	fetcher-fast1-4.p.mail.ru	RU
95.163.36.12	fetcher-fast3-3.p.mail.ru	RU
95.163.36.11	fetcher-fast3-2.p.mail.ru	RU
95.163.255.126	fetcher-fast1-1.p.mail.ru	RU
95.163.36.19	fetcher-fast3-7.p.mail.ru	RU
95.163.255.125	fetcher-fast1.p.mail.ru	RU
95.163.36.9	fetcher-fast3.p.mail.ru	RU
95.163.255.58	fetcher6-7.go.mail.ru	RU
95.163.255.52	fetcher6-1.go.mail.ru	RU
95.163.255.67	fetcher7-6.go.mail.ru	RU
95.163.255.64	fetcher7-3.go.mail.ru	RU
95.163.36.13	fetcher-fast2-5.p.mail.ru	RU
95.163.36.6	fetcher-fast2-2.p.mail.ru	RU
95.163.36.5	fetcher-fast2-1.p.mail.ru	RU
95.163.255.128	fetcher-fast1-3.p.mail.ru	RU
95.163.36.8	fetcher-fast2-4.p.mail.ru	RU
95.163.36.15	fetcher-fast2-7.p.mail.ru	RU
95.163.36.4	fetcher-fast2.p.mail.ru	RU
95.163.36.14	fetcher-fast2-6.p.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2014-01-24 08:35:00

最后出现: 2022-03-06 12:40:50

遵循robots.txt: 是

IP地址: 56

来源

IP地址	服务器名称	所属国家
95.163.255.58	fetcher6-7.go.mail.ru	RU
95.163.255.52	fetcher6-1.go.mail.ru	RU
95.163.255.67	fetcher7-6.go.mail.ru	RU
95.163.255.64	fetcher7-3.go.mail.ru	RU
95.163.36.18	fetcher-fast3-6.p.mail.ru	RU
95.163.36.9	fetcher-fast3.p.mail.ru	RU
95.163.36.19	fetcher-fast3-7.p.mail.ru	RU
95.163.36.17	fetcher-fast3-5.p.mail.ru	RU
95.163.36.16	fetcher-fast3-4.p.mail.ru	RU
95.163.36.11	fetcher-fast3-2.p.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2018-03-17 13:35:40

最后出现: 2020-05-05 04:34:01

遵循robots.txt: 是

IP地址: 31

来源

IP地址	服务器名称	所属国家
95.163.255.97	fetcher10-6.go.mail.ru	RU
95.163.255.95	fetcher10-4.go.mail.ru	RU
95.163.255.23	fetcher3-2.go.mail.ru	RU
95.163.255.98	fetcher10-7.go.mail.ru	RU
95.163.255.93	fetcher10-2.go.mail.ru	RU
95.163.255.99	fetcher10-8.go.mail.ru	RU
95.163.255.27	fetcher3-6.go.mail.ru	RU
95.163.255.28	fetcher3-7.go.mail.ru	RU
95.163.255.22	fetcher3-1.go.mail.ru	RU
95.163.255.24	fetcher3-3.go.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2018-04-19 01:08:34

最后出现: 2020-04-12 21:58:06

遵循robots.txt: 是

IP地址: 12

来源

IP地址	服务器名称	所属国家
95.163.255.135	fetcher14-4.go.mail.ru	RU
95.163.255.142	fetcher15-1.go.mail.ru	RU
95.163.36.5	fetcher-fast2-1.p.mail.ru	RU
95.163.36.6	fetcher-fast2-2.p.mail.ru	RU
95.163.255.148	fetcher15-7.go.mail.ru	RU
95.163.36.8	fetcher-fast2-4.p.mail.ru	RU
95.163.255.108	fetcher-fast1-4.p.mail.ru	RU
95.163.255.132	fetcher14-1.go.mail.ru	RU
95.163.255.147	fetcher15-6.go.mail.ru	RU
95.163.255.149	fetcher15-8.go.mail.ru	RU
95.163.255.128	fetcher-fast1-3.p.mail.ru	RU
95.163.255.120	fetcher-img3-1.p.mail.ru	RU
95.163.255.111	fetcher-img3.p.mail.ru	RU
95.163.255.129	fetcher13-8.go.mail.ru	RU
95.163.255.145	fetcher15-4.go.mail.ru	RU
95.163.255.140	fetcher-img3-5.p.mail.ru	RU
95.163.255.144	fetcher15-3.go.mail.ru	RU
95.163.255.131	fetcher-img3-4.p.mail.ru	RU
95.163.255.130	fetcher-img3-3.p.mail.ru	RU
95.163.255.198	fetcher-img3-7.p.mail.ru	RU
95.163.255.121	fetcher-img3-2.p.mail.ru	RU
95.163.255.141	fetcher-img3-6.p.mail.ru	RU
95.163.255.138	fetcher-img3-9.p.mail.ru	RU
95.163.255.247	fetcher-img3-8.p.mail.ru	RU
217.69.143.67	fetcher-img3-5.p.mail.ru	RU
217.69.143.64	fetcher-img3-2.p.mail.ru	RU
217.69.143.66	fetcher-img3-4.p.mail.ru	RU
217.69.143.65	fetcher-img3-3.p.mail.ru	RU
95.163.255.133	fetcher14-2.go.mail.ru	RU
95.163.255.146	fetcher15-5.go.mail.ru	RU
95.163.36.4	fetcher-fast2.p.mail.ru	RU
95.163.36.11	fetcher-fast3-2.p.mail.ru	RU
95.163.36.19	fetcher-fast3-7.p.mail.ru	RU
95.163.255.143	fetcher15-2.go.mail.ru	RU
95.163.255.137	95.163.255.137	RU
95.163.36.17	fetcher-fast3-5.p.mail.ru	RU
95.163.255.134	fetcher14-3.go.mail.ru	RU
95.163.36.15	fetcher-fast2-7.p.mail.ru	RU
95.163.255.102	fetcher11-1.go.mail.ru	RU
95.163.255.136	fetcher14-5.go.mail.ru	RU
95.163.255.118	fetcher-fast1-6.p.mail.ru	RU
95.163.36.13	fetcher-fast2-5.p.mail.ru	RU
95.163.255.127	fetcher-fast1-2.p.mail.ru	RU
95.163.255.119	fetcher-fast1-7.p.mail.ru	RU
95.163.36.14	fetcher-fast2-6.p.mail.ru	RU
95.163.255.126	fetcher-fast1-1.p.mail.ru	RU
95.163.36.12	fetcher-fast3-3.p.mail.ru	RU
95.163.36.10	fetcher-fast3-1.p.mail.ru	RU
95.163.255.125	fetcher-fast1.p.mail.ru	RU
95.163.36.16	fetcher-fast3-4.p.mail.ru	RU
95.163.36.7	fetcher-fast2-3.p.mail.ru	RU
95.163.255.109	fetcher-fast1-5.p.mail.ru	RU
95.163.36.9	fetcher-fast3.p.mail.ru	RU
95.163.36.18	fetcher-fast3-6.p.mail.ru	RU
95.163.255.106	fetcher11-5.go.mail.ru	RU
176.112.170.226	srch-general-fetcher1-w-2.g.smailru.net	RU
176.112.170.230	srch-general-fetcher1-w-6.g.smailru.net	RU
176.112.170.229	srch-general-fetcher1-w-5.g.smailru.net	RU
176.112.170.239	srch-general-fetcher2-w-7.g.smailru.net	RU
176.112.170.227	srch-general-fetcher1-w-3.g.smailru.net	RU
95.163.255.107	fetcher11-6.go.mail.ru	RU
176.112.170.238	srch-general-fetcher2-w-6.g.smailru.net	RU
176.112.170.231	srch-general-fetcher1-w-7.g.smailru.net	RU
176.112.170.236	srch-general-fetcher2-w-4.g.smailru.net	RU
176.112.170.237	srch-general-fetcher2-w-5.g.smailru.net	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2018-04-19 01:08:34

最后出现: 2020-04-12 21:58:06

遵循robots.txt

IP地址: 12

来源

IP地址	服务器名称	所属国家
95.163.255.141	fetcher-img3-6.p.mail.ru	RU
95.163.255.247	fetcher-img3-8.p.mail.ru	RU
95.163.255.140	fetcher-img3-5.p.mail.ru	RU
95.163.255.120	fetcher-img3-1.p.mail.ru	RU
95.163.255.111	fetcher-img3.p.mail.ru	RU
95.163.255.198	fetcher-img3-7.p.mail.ru	RU
217.69.143.67	fetcher-img3-5.p.mail.ru	RU
217.69.143.64	fetcher-img3-2.p.mail.ru	RU
217.69.143.66	fetcher-img3-4.p.mail.ru	RU
217.69.143.65	fetcher-img3-3.p.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Mail.RU/2.0c)

类型: 搜索引擎

首次出现: 2016-01-31 20:32:00

最后出现: 2019-05-03 10:00:56

遵循robots.txt: 是

IP地址: 2

来源

IP地址	服务器名称	所属国家
188.93.56.216	?	RU
217.69.133.188	spider9.mail.ru	RU

用户代理字符串: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2014-09-09 06:07:32

最后出现: 2015-02-12 03:43:46

遵循robots.txt: 是

IP地址: 10

来源

IP地址	服务器名称	所属国家
217.69.143.71	fetcher-img3-9.p.mail.ru	RU
217.69.143.62	fetcher-img3.p.mail.ru	RU
217.69.143.69	fetcher-img3-7.p.mail.ru	RU
217.69.143.64	fetcher-img3-2.p.mail.ru	DE
217.69.143.65	fetcher-img3-3.p.mail.ru	DE
217.69.143.63	fetcher-img3-1.p.mail.ru	DE
217.69.143.68	fetcher-img3-6.p.mail.ru	DE
217.69.143.67	fetcher-img3-5.p.mail.ru	RU
217.69.143.70	fetcher-img3-8.p.mail.ru	RU
217.69.143.66	fetcher-img3-4.p.mail.ru	DE

用户代理字符串: Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)

类型: 搜索引擎

首次出现: 2012-12-18 20:10:48

最后出现: 2013-05-09 16:10:16

遵循robots.txt: 是

IP地址: 6

来源

IP地址	服务器名称	所属国家
217.69.133.67	fetcher1.mail.ru	DE
217.69.133.70	fetcher4.mail.ru	RU
217.69.133.69	fetcher3.mail.ru	RU
217.69.134.56	spider8.mail.ru	DE
217.69.133.68	fetcher2.mail.ru	DE
217.69.134.79	fetcher5.mail.ru	DE

用户代理字符串: Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)

类型: 搜索引擎

首次出现: 2012-10-21 12:15:00

最后出现: 2012-12-14 13:42:09

遵循robots.txt: 是

IP地址: 4

来源

IP地址	服务器名称	所属国家
95.163.255.156	fetcher16-7.go.mail.ru	RU
95.163.255.170	fetcher16-21.go.mail.ru	RU
95.163.255.185	fetcher16-36.go.mail.ru	RU
95.163.255.187	fetcher16-38.go.mail.ru	RU
95.163.255.157	fetcher16-8.go.mail.ru	RU
95.163.255.173	fetcher16-24.go.mail.ru	RU
95.163.255.161	fetcher16-12.go.mail.ru	RU
95.163.255.166	fetcher16-17.go.mail.ru	RU
95.163.255.172	95.163.255.172	RU
95.163.255.171	fetcher16-22.go.mail.ru	RU
95.163.255.39	fetcher4-8.go.mail.ru	RU
95.163.255.164	fetcher16-15.go.mail.ru	RU
95.163.255.223	fetcher17-25.go.mail.ru	RU
95.163.255.231	fetcher17-33.go.mail.ru	RU
95.163.255.186	fetcher16-37.go.mail.ru	RU
95.163.255.182	fetcher16-33.go.mail.ru	RU
95.163.255.227	fetcher17-29.go.mail.ru	RU
95.163.255.224	fetcher17-26.go.mail.ru	?
95.163.255.218	fetcher17-20.go.mail.ru	RU
95.163.255.206	fetcher17-8.go.mail.ru	RU
195.211.23.207	snipster23.go.mail.ru	RU
95.163.255.63	fetcher7-2.go.mail.ru	RU
95.163.255.6	fetcher1-5.go.mail.ru	RU
95.163.255.3	fetcher1-2.go.mail.ru	RU
95.163.255.152	fetcher16-3.go.mail.ru	RU
95.163.255.169	fetcher16-20.go.mail.ru	RU
95.163.255.65	fetcher7-4.go.mail.ru	RU
95.163.255.62	fetcher7-1.go.mail.ru	RU
95.163.255.183	fetcher16-34.go.mail.ru	RU
95.163.255.194	fetcher16-45.go.mail.ru	RU
95.163.255.97	fetcher10-6.go.mail.ru	RU
95.163.255.95	fetcher10-4.go.mail.ru	RU
95.163.255.23	fetcher3-2.go.mail.ru	RU
95.163.255.98	fetcher10-7.go.mail.ru	RU
95.163.255.93	fetcher10-2.go.mail.ru	RU
95.163.255.99	fetcher10-8.go.mail.ru	RU
95.163.255.27	fetcher3-6.go.mail.ru	RU
95.163.255.28	fetcher3-7.go.mail.ru	RU
95.163.255.22	fetcher3-1.go.mail.ru	RU
95.163.255.24	fetcher3-3.go.mail.ru	RU
217.69.133.67	fetcher1.mail.ru	DE
217.69.133.70	fetcher4.mail.ru	RU
217.69.133.68	fetcher2.mail.ru	DE
217.69.133.69	fetcher3.mail.ru	RU
217.69.134.56	spider8.mail.ru	DE
217.69.134.79	fetcher5.mail.ru	DE
95.163.255.215	fetcher17-17.go.mail.ru	RU
95.163.255.160	fetcher16-11.go.mail.ru	RU
95.163.255.154	fetcher16-5.go.mail.ru	RU
95.163.255.165	fetcher16-16.go.mail.ru	RU
95.163.255.150	fetcher16-1.go.mail.ru	RU
95.163.255.195	fetcher16-46.go.mail.ru	RU
95.163.255.151	fetcher16-2.go.mail.ru	RU
95.163.255.196	fetcher16-47.go.mail.ru	RU
95.163.255.178	fetcher16-29.go.mail.ru	RU
95.163.255.190	fetcher16-41.go.mail.ru	RU
95.163.255.153	fetcher16-4.go.mail.ru	RU
95.163.255.189	95.163.255.189	RU
95.163.255.167	fetcher16-18.go.mail.ru	RU
95.163.255.174	fetcher16-25.go.mail.ru	RU
95.163.255.197	fetcher16-48.go.mail.ru	RU
95.163.255.181	fetcher16-32.go.mail.ru	RU
95.163.255.175	fetcher16-26.go.mail.ru	RU
95.163.255.188	fetcher16-39.go.mail.ru	RU
95.163.255.179	fetcher16-30.go.mail.ru	RU
95.163.255.163	fetcher16-14.go.mail.ru	RU
95.163.255.184	fetcher16-35.go.mail.ru	RU
95.163.255.180	fetcher16-31.go.mail.ru	RU
95.163.255.32	fetcher4-1.go.mail.ru	RU
95.163.255.158	fetcher16-9.go.mail.ru	RU
95.163.255.192	fetcher16-43.go.mail.ru	RU
95.163.255.201	fetcher17-3.go.mail.ru	RU
95.163.255.155	fetcher16-6.go.mail.ru	RU
95.163.255.214	fetcher17-16.go.mail.ru	RU
95.163.255.202	fetcher17-4.go.mail.ru	RU
95.163.255.238	fetcher17-40.go.mail.ru	RU
95.163.255.193	fetcher16-44.go.mail.ru	RU
95.163.255.177	fetcher16-28.go.mail.ru	RU
95.163.255.226	fetcher17-28.go.mail.ru	RU
95.163.255.18	fetcher2-7.go.mail.ru	RU
95.163.255.68	fetcher7-7.go.mail.ru	RU
95.163.255.69	fetcher7-8.go.mail.ru	RU
95.163.255.13	fetcher2-2.go.mail.ru	?
95.163.255.162	fetcher16-13.go.mail.ru	RU
95.163.255.37	fetcher4-6.go.mail.ru	RU
95.163.255.66	fetcher7-5.go.mail.ru	RU
95.163.255.176	fetcher16-27.go.mail.ru	RU
95.163.255.168	fetcher16-19.go.mail.ru	RU
95.163.255.191	fetcher16-42.go.mail.ru	RU
95.163.255.96	fetcher10-5.go.mail.ru	RU
95.163.255.159	fetcher16-10.go.mail.ru	RU
95.163.255.229	fetcher17-31.go.mail.ru	RU
95.163.255.58	fetcher6-7.go.mail.ru	RU
95.163.255.53	fetcher6-2.go.mail.ru	RU
95.163.255.211	fetcher17-13.go.mail.ru	RU
95.163.255.200	fetcher17-2.go.mail.ru	RU
95.163.255.52	fetcher6-1.go.mail.ru	RU
95.163.255.239	fetcher17-41.go.mail.ru	RU
95.163.255.17	fetcher17-44.go.mail.ru	RU
95.163.255.38	fetcher4-7.go.mail.ru	RU
95.163.255.36	fetcher4-5.go.mail.ru	RU
95.163.255.26	fetcher3-5.go.mail.ru	RU
95.163.255.64	fetcher7-3.go.mail.ru	RU
95.163.255.33	fetcher4-2.go.mail.ru	RU
95.163.255.67	fetcher7-6.go.mail.ru	RU
95.163.255.34	fetcher4-3.go.mail.ru	RU
95.163.255.25	fetcher3-4.go.mail.ru	RU
176.112.170.226	srch-general-fetcher1-w-2.g.smailru.net	RU
95.163.255.29	fetcher3-8.go.mail.ru	RU
95.163.255.235	fetcher17-37.go.mail.ru	RU
95.163.255.210	fetcher17-12.go.mail.ru	RU
95.163.255.219	fetcher17-21.go.mail.ru	RU
95.163.255.207	fetcher17-9.go.mail.ru	RU
95.163.255.225	fetcher17-27.go.mail.ru	RU
95.163.255.233	fetcher17-35.go.mail.ru	RU
95.163.255.236	fetcher17-38.go.mail.ru	RU
95.163.255.212	fetcher17-14.go.mail.ru	RU
95.163.255.203	fetcher17-5.go.mail.ru	RU
95.163.255.0	fetcher17-42.go.mail.ru	RU
95.163.255.216	fetcher17-18.go.mail.ru	RU
95.163.255.208	fetcher17-10.go.mail.ru	RU
176.112.170.233	srch-general-fetcher2-w-1.g.smailru.net	RU

用户代理字符串: Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)

类型: 搜索引擎

首次出现: 2012-10-21 12:15:00

最后出现: 2012-12-14 13:42:09

遵循robots.txt: 是

IP地址: 4

来源

IP地址	服务器名称	所属国家
217.69.134.79	fetcher5.mail.ru	DE
217.69.133.67	fetcher1.mail.ru	DE
217.69.133.69	fetcher3.mail.ru	RU
217.69.133.70	fetcher4.mail.ru	RU

用户代理字符串: Mail.RU/2.0

类型: 搜索引擎

首次出现: 2011-04-29 20:15:16

最后出现: 2012-04-10 06:08:11

遵循robots.txt: 是

IP地址: 5

来源

IP地址	服务器名称	所属国家
217.69.133.31	nipple4.mail.ru	RU
217.69.134.56	spider8.mail.ru	DE
217.69.134.91	dombai.mail.ru	DE
217.69.133.28	nipple1.mail.ru	RU
217.69.133.29	nipple2.mail.ru	RU
217.69.133.30	nipple3.mail.ru	RU

用户代理字符串: Mail.RU/2.0

类型: 搜索引擎

首次出现: 2011-04-29 20:15:16

最后出现: 2012-04-10 06:08:11

遵循robots.txt: 是

IP地址: 5

来源

IP地址	服务器名称	所属国家
217.69.134.56	spider8.mail.ru	DE
217.69.134.91	dombai.mail.ru	DE
217.69.133.28	nipple1.mail.ru	RU
217.69.133.29	nipple2.mail.ru	RU
217.69.133.31	nipple4.mail.ru	RU

用户代理字符串: Mail.Ru/1.0

类型: 搜索引擎

首次出现: 2009-05-11 05:50:00

最后出现: 2012-03-14 19:57:03

遵循robots.txt: 是

IP地址: 19

来源

IP地址	服务器名称	所属国家
217.69.134.172	spider17.mail.ru	DE
94.100.181.242	spider7.mail.ru	RU
217.69.134.173	spider18.mail.ru	DE
94.100.181.80	aurora3.mail.ru	RU
217.69.134.178	spider23.mail.ru	RU
94.100.181.85	aurora8.mail.ru	RU
217.69.134.179	wiper.p.mail.ru	DE
94.100.181.86	aurora9.mail.ru	RU
217.69.134.53	spider5.mail.ru	DE
94.100.181.90	spider24.mail.ru	RU
217.69.134.54	spider6.mail.ru	DE
217.69.134.55	spider7.mail.ru	DE
217.69.136.30	spider2.mail.ru	DE
217.69.133.34	senderexim1.p.smailru.net	DE
94.100.181.102	aurora4.mail.ru	RU
217.69.134.167	spider12.mail.ru	DE
94.100.181.107	spider2.mail.ru	RU
217.69.134.168	spider13.mail.ru	DE
94.100.181.240	spider5.mail.ru	RU

搜索爬虫或蜘蛛（spider，crawler，bot）是一个在互联网上 “行走 “的程序，然后下载它们以便随后编制索引。在它下载了文件之后，机器人对其进行分析，定义其类型、编码、语言，并将页面的链接添加到队列中，以便进一步编制索引。机器人会定期返回以前访问过的网页，以检查其相关性。

除了索引整个互联网的主要机器人外，还有专门的机器人，分别下载图片、视频、新闻、rss等。通过这种方式，他们可以更迅速地对文件进行索引。

如何让Mail.Ru bot更快建立索引

有几个提示可以帮助加快你的网页的索引。

创建一个网站地图（如果你有一个大的网站，可以创建几个文件），其中包含一个用于索引的页面尿素列表。不要忘了更新它!
创建一个网站地图页面。你可以把你网站的所有重要页面的链接放在上面。
使用robots.txt。你可以用它来禁止对个别网页和网站部分进行索引，指定主要的网站主机（以避免对镜像进行索引），为访问网站页面设置一个时间延迟。
配置服务器，以便在出现错误的情况下给出正确的HTTP头信息。例如，如果该页面不存在，它应该返回一个404错误。

Mail.Ru bot如何出现在服务器日志中

Mail.Ru bot使用以下用户代理：

Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

如何检查一个爬虫是否来自go.mail.ru

为了验证一个爬虫是否真的属于Mail.ru，您需要做以下工作。

从网络服务器的日志中找到你感兴趣的用户代理的IP地址。
然后，通过对这个ip地址进行反向dns查询（例如*nix系统中的host命令），你可以确定其主机。我们的机器人进行查询的所有主机名都以mail.ru结尾。
最为直接的方法是，在您的WordPress安装Spider Analyser插件或者通过蜘蛛查询在线工具，可以快速判断。

在主机不匹配的情况下，这可能意味着这个爬虫正在使用一个假的用户代理，不属于Mail.ru。

管理Mail.Ru bot行为的技术

元标签

Mail.Ru bot会考虑到放置在网站页面代码中的以下标签的内容。

<meta name=”keywords” content=”…”/> – 在确定页面与搜索查询的相关性时可以考虑到这一点。
<meta name=”Description” content=”…”/> – 这个标签的内容在片段中使用。
<meta http-equiv=”Content-Type” content=”type; charset=…”/> – 这个标签的值定义了文件的类型及其编码。
<meta http-equiv=”refresh” content=”N;url=_redirector_address” /> – 在给定页面的N秒后将用户重定向到url地址页面。如果N很小，它被认为是一个临时重定向，类似于HTTP代码302/303/307的服务器重定向。

Mail.ru机器人还在标签中考虑诸如以下的指示。

<meta name=”robots” content=”all”/> – 索引页面上的文本和链接，类似于<meta name=”robots” content=”index, follow”/>。
<meta name=”robots” content=”noindex” /> – 不允许对页面文本进行索引。
<meta name=”robots” content=”nofollow”/> – 禁止页面上的索引链接。然而，如果这些网页上其他地方有没有nofollow的链接，那么这些网页仍然可以被索引。
<meta name=”robots” content=”none”/> – 不允许索引页面上的文本和链接，类似于<meta name=”robots” content=”noindex, nofollow”/>。
<meta name=”robots” content=”noarchive”/> – 禁止在搜索结果页上链接到保存的副本。

如果在页面的代码中没有指定元标签，机器人会默认它们是 “正面 “的。在标签之间发生冲突的情况下，机器人会选择默认值。

例子。

<meta name="robots" content="all"/> 
<meta name="robots" content="noindex, follow"/>

由于标签的冲突，机器人将预取所有值，即文本和链接将被索引。

一个值为all的标签不适用于noarchive。

例子。

<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>

文本和链接将被编入索引，但在搜索结果中不会有与保存副本的链接。

Nofollow在标签中的含义

标签<a>中的nofollow值只适用于它所指定的链接。

<a href="url" rel="nofollow">链接文本</a>

标签中canonical的含义

这个值可以用来将机器人指向一个规范的页面，以防相同或非常相似的内容可以通过不同的链接进行检索。

示例：

//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date

几个页面显示相同的产品列表，按不同的字段排序。

你可以选择第一个链接作为标准链接，并在其他指定页面的<head>中放置以下标签

<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>

这样一来，只有规范的页面会被索引，避免了内容的重复。

Mail.Ru bot支持的编码和语言

目前，俄文、英文、白俄罗斯文、乌克兰文和哈萨克文的网页已被编入索引。所有常见的编码都被支持。

常见问题

FAQs

搜索引擎蜘蛛对移动设备和桌面设备的处理有何不同？
搜索引擎蜘蛛对移动设备和桌面设备的处理可以有一些不同之处。以下是一些常见的区别：
1. 移动友好性检查：搜索引擎蜘蛛会检查网站的移动友好性。对于移动设备，它们倾向于优先索引和显示移动友好的网站。这包括响应式网站设计、适应移动屏幕大小和触摸屏幕等移动设备特性的网站。
2. 移动内容索引：对于移动设备，搜索引擎蜘蛛可能会独立地索引移动版本的内容。这是因为移动和桌面设备的用户需求和搜索行为可能不完全相同。蜘蛛可能会更加重视移动设备用户的搜索结果和体验。
3. 网页加载速度：搜索引擎蜘蛛会注意网页的加载速度，尤其是对于移动设备。移动设备的网络连接通常比桌面设备慢，因此网页的加载速度对于移动设备用户来说更加重要。蜘蛛会考虑网页的加载性能并可能将其作为排名因素之一。
4. 移动应用索引：对于包含应用页面的网站，搜索引擎蜘蛛还可以索引移动应用的相关内容。这使得移动应用可以在搜索结果中显示，并提供用户直接链接到应用的可能性。
尽管搜索引擎蜘蛛对移动设备和桌面设备的处理可能略有不同，但总体目标是提供最佳的用户体验和相关的搜索结果。因此，为了获得良好的搜索可见性，建议采取以下措施：采用响应式网站设计、优化移动页面和内容、确保快速加载速度，并提供高质量和有价值的用户体验。
如何识别和避免被搜索引擎蜘蛛认为是“过度优化”？
可以通过以下几种方式来识别和避免被搜索引擎蜘蛛认为是“过度优化”：
- 分析竞争对手的网站：了解竞争对手的网站是如何进行搜索引擎优化的，可以帮助站长识别哪些是过度的优化手段，从而避免使用这些手段。
- 不要过分依赖关键词：虽然关键词在搜索引擎优化中很重要，但不要过分依赖关键词。要在保证网页质量和用户体验的前提下，合理使用关键词。
- 不要大量建立链接：建立外部链接是提高网站排名的重要方法之一，但不要大量建立没有价值的链接。这些链接不仅不会提高网站的相关性和排名，还可能被搜索引擎视为垃圾内容。
- 不要重复发布相同的内容：重复发布相同的内容不仅不会增加网站的相关性和排名，还可能被搜索引擎视为垃圾内容。因此，站长要避免重复发布相同的内容，并保持网站内容的新鲜度。
搜索引擎蜘蛛如何处理重复的内容？
搜索引擎蜘蛛在处理重复内容时，会采用一些策略来判断哪些内容是重要的，哪些是不重要的。例如，如果两个网页的内容完全相同，那么搜索引擎可能会选择只保留其中一个网页的版本，或者根据链接的质量来确定哪个版本更重要。此外，有些搜索引擎还会使用相似性算法来检测内容之间的相似性，并将相似的内容进行分组，以便用户在搜索时能够更快速地找到所需的信息。

搜索引擎蜘蛛在处理重复内容时会采取一些处理策略，以确保搜索结果的质量和多样性。以下是搜索引擎蜘蛛处理重复内容的常见方法：
1. 索引和排重：搜索引擎蜘蛛会首先抓取网页内容，并将其添加到搜索引擎的索引中。在索引过程中，蜘蛛会使用去重算法，比较页面内容的相似性，并识别和排除重复的页面，以确保不会重复显示相同或几乎相同的结果。
2. 选择最佳内容：如果搜索引擎发现多个重复的页面，而这些页面并非恶意重复，蜘蛛会尝试选择其中最佳的一个显示在搜索结果中。该选择通常基于一系列因素，如页面权威性、原创性、用户体验等。
3. 高质量内容优先：搜索引擎普遍偏向于显示高质量、独特且原创的内容。如果多个页面包含相同或相似的内容，但其中一个被认为是高质量和权威的来源，搜索引擎可能会选择该来源作为主要显示的页面。
需要注意的是，尽管搜索引擎蜘蛛会处理重复内容，但重复内容本身可能对搜索引擎优化（SEO）产生负面影响。重复内容可能导致搜索引擎索引中的页面混淆和竞争，从而降低特定页面的排名和可见性。因此，在设计和维护网站时，应避免出现重复内容，保持页面的独特性和价值。
什么是sitemap，它与搜索引擎蜘蛛有何关系？

sitemap（网站地图）是一种XML文件，它包含了网站中所有网页的URL地址和这些页面的更新频率、更改频率等元数据。网站地图可以帮助搜索引擎蜘蛛更好地了解网站的架构和内容，从而更好地爬取网站中的网页。

搜索引擎蜘蛛是搜索引擎的自动程序，负责浏览互联网并收集网页内容，用于搜索引擎的索引和排名。当搜索引擎蜘蛛访问一个网站时，它通常会首先查找网站的sitemap。通过查看sitemap，蜘蛛可以了解网站的整体结构和可抓取的页面。这样，搜索引擎蜘蛛可以更加全面地抓取网站的内容，并将其添加到搜索引擎的索引中。

通过提供一个完整且准确的sitemap，网站所有可访问的页面都可以被搜索引擎蜘蛛发现和索引。这有助于确保网站的所有重要页面都被搜索引擎收录，从而提高页面在搜索引擎结果中的可见性和排名机会。

总结而言，sitemap是一个包含网站页面信息的XML文件，它将网站结构呈现给搜索引擎蜘蛛，以帮助其更好地抓取和索引网站内容。
如何优化网站的加载速度以改善搜索引擎排名？
可以通过以下几种方式来优化网站的加载速度以改善搜索引擎排名：
1. 优化图片和文件大小：压缩和优化图片和文件的大小，可以减少加载时间。使用图片压缩工具和文件压缩工具来减小文件大小，同时保持图片质量。
2. 缓存内容：使用缓存技术可以减少重复的服务器请求和响应时间，从而提高加载速度。通过使用缓存插件或缓存服务器来缓存网站内容，可以加快网站速度。
3. 优化代码和样式：减少网站代码和样式的复杂性可以加快加载速度。使用简洁的HTML、CSS和JavaScript代码，避免使用过多的嵌套和复杂的样式，同时压缩CSS和JavaScript文件。
4. 使用CDN加速：CDN（Content Delivery Network）可以将网站内容从用户最近的服务器中快速传输，从而加速加载速度。使用CDN服务可以提高网站的速度和可用性，同时提高搜索引擎排名。
5. 优化数据库：如果网站使用数据库来存储数据，可以通过优化数据库来提高加载速度。使用索引来加速数据库查询，优化数据表的大小和结构，同时减少数据库的查询次数。
6. 使用缓存插件或服务器：使用缓存插件或服务器可以提高网站的加载速度和性能。这些插件或服务器可以将网站内容缓存到内存中，从而加速网站的速度。
7. 优化服务器配置：优化服务器配置可以提高网站的加载速度和性能。例如，调整服务器的并发连接数、开启gzip压缩等。
总的来说，加载速度是影响搜索引擎排名的重要因素之一。通过以上方法优化网站的加载速度可以提高搜索引擎排名，从而获得更好的流量和转化率。
如何提高网站被搜索引擎蜘蛛抓取的频率？
可以通过以下几种方式来提高网站被搜索引擎蜘蛛抓取的频率：
- 增加链接的多样性：除了在网站内部进行链接的优化之外，还可以增加外部链接的数量和多样性，这样可以增加搜索引擎蜘蛛爬取网站的入口，提高抓取频率。
- 与其他网站建立良好的链接关系：与其他网站建立良好的链接关系可以让搜索引擎蜘蛛更容易地找到你的网站，从而提高抓取频率。
- 更新网站内容：经常更新网站内容可以让搜索引擎蜘蛛认为你的网站是活跃的、有价值的，从而增加抓取频率。
- 优化网站结构：优化网站结构可以让搜索引擎蜘蛛更容易地理解网站的内容和结构，从而更容易地爬取网站。