註冊
简体
> 工具>蜘蛛查詢工具

Mail.Ru bot

Mail.Ru bot蜘蛛/爬蟲屬於搜尋引擎型別，由VK Group開發執行。您可以繼續閱讀下方資訊，以深入瞭解Mail.Ru bot基本資訊，使用者代理和訪問控制等。

基本資訊

Mail.Ru bot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Mail.Ru bot
型別
搜尋引擎
開發商
VK Group
當前狀態
活動

使用者代理

關於Mail.Ru bot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU/2.0c
  • Mail.RU_Bot/Robots
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU/2.0
  • Mail.RU/2.0
  • Mail.Ru/1.0
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)
首次出現
2021-01-20 18:08:51
最後出現
2025-01-09 19:50:48
遵循robots.txt
未知
來源
IP地址(14) 伺服器名稱 所屬國家
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出現
2013-05-24 00:51:05
最後出現
2022-08-01 05:30:28
遵循robots.txt
是
來源
IP地址(10) 伺服器名稱 所屬國家
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出現
2013-11-01 08:30:00
最後出現
2022-05-06 09:58:58
遵循robots.txt
是
來源
IP地址(20) 伺服器名稱 所屬國家
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出現
2013-11-01 08:30:00
最後出現
2022-05-06 09:58:58
遵循robots.txt
是
來源
IP地址(10) 伺服器名稱 所屬國家
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots)
首次出現
2014-06-26 13:10:00
最後出現
2022-05-06 07:20:44
遵循robots.txt
是
來源
IP地址(10) 伺服器名稱 所屬國家
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出現
2014-01-24 08:35:00
最後出現
2022-03-06 12:40:50
遵循robots.txt
是
來源
IP地址(29) 伺服器名稱 所屬國家
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出現
2014-01-24 08:35:00
最後出現
2022-03-06 12:40:50
遵循robots.txt
是
來源
IP地址(10) 伺服器名稱 所屬國家
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; http://go.mail.ru/help/robots)
首次出現
2018-03-17 13:35:40
最後出現
2020-05-05 04:34:01
遵循robots.txt
是
來源
IP地址(10) 伺服器名稱 所屬國家
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出現
2018-04-19 01:08:34
最後出現
2020-04-12 21:58:06
遵循robots.txt
是
來源
IP地址(67) 伺服器名稱 所屬國家
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出現
2018-04-19 01:08:34
最後出現
2020-04-12 21:58:06
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU/2.0c)
首次出現
2016-01-31 20:32:00
最後出現
2019-05-03 10:00:56
遵循robots.txt
是
來源
IP地址(2) 伺服器名稱 所屬國家
188.93.56.216 ? RU
217.69.133.188 spider9.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots; +http://go.mail.ru/help/robots)
首次出現
2014-09-09 06:07:32
最後出現
2015-02-12 03:43:46
遵循robots.txt
是
來源
IP地址(10) 伺服器名稱 所屬國家
217.69.143.71 fetcher-img3-9.p.mail.ru RU
217.69.143.62 fetcher-img3.p.mail.ru RU
217.69.143.69 fetcher-img3-7.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru DE
217.69.143.65 fetcher-img3-3.p.mail.ru DE
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出現
2012-12-18 20:10:48
最後出現
2013-05-09 16:10:16
遵循robots.txt
是
來源
IP地址(6) 伺服器名稱 所屬國家
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.133.68 fetcher2.mail.ru DE
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出現
2012-10-21 12:15:00
最後出現
2012-12-14 13:42:09
遵循robots.txt
是
來源
IP地址(139) 伺服器名稱 所屬國家
95.163.255.156 fetcher16-7.go.mail.ru RU
95.163.255.170 fetcher16-21.go.mail.ru RU
95.163.255.185 fetcher16-36.go.mail.ru RU
95.163.255.187 fetcher16-38.go.mail.ru RU
95.163.255.157 fetcher16-8.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出現
2012-10-21 12:15:00
最後出現
2012-12-14 13:42:09
遵循robots.txt
是
來源
IP地址(4) 伺服器名稱 所屬國家
217.69.134.79 fetcher5.mail.ru DE
217.69.133.67 fetcher1.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.133.70 fetcher4.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU/2.0)
首次出現
2012-04-11 17:25:45
最後出現
2012-10-18 11:48:35
遵循robots.txt
是
來源
IP地址(7) 伺服器名稱 所屬國家
217.69.133.31 nipple4.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
使用者代理字串
Mail.RU/2.0
首次出現
2011-04-29 20:15:16
最後出現
2012-04-10 06:08:11
遵循robots.txt
是
來源
IP地址(5) 伺服器名稱 所屬國家
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.31 nipple4.mail.ru RU
使用者代理字串
Mail.Ru/1.0
首次出現
2009-05-11 05:50:00
最後出現
2012-03-14 19:57:03
遵循robots.txt
是
來源
IP地址(19) 伺服器名稱 所屬國家
217.69.134.172 spider17.mail.ru DE
94.100.181.242 spider7.mail.ru RU
217.69.134.173 spider18.mail.ru DE
94.100.181.80 aurora3.mail.ru RU
217.69.134.178 spider23.mail.ru RU

訪問控制

瞭解如何控制Mail.Ru bot訪問許可權，避免Mail.Ru bot抓取行為不當。

是否攔截Mail.Ru bot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Mail.Ru bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。 

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Mail.Ru bot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

搜尋爬蟲或蜘蛛（spider，crawler，bot）是一個在網際網路上 “行走 “的程式，然後下載它們以便隨後編制索引。在它下載了檔案之後，機器人對其進行分析，定義其型別、編碼、語言，並將頁面的連結新增到佇列中，以便進一步編制索引。機器人會定期返回以前訪問過的網頁，以檢查其相關性。

除了索引整個網際網路的主要機器人外，還有專門的機器人，分別下載圖片、視訊、新聞、rss等。通過這種方式，他們可以更迅速地對檔案進行索引。

如何讓Mail.Ru bot更快建立索引

有幾個提示可以幫助加快你的網頁的索引。

  1. 建立一個網站地圖（如果你有一個大的網站，可以建立幾個檔案），其中包含一個用於索引的頁面尿素列表。不要忘了更新它!
  2. 建立一個網站地圖頁面。你可以把你網站的所有重要頁面的連結放在上面。
  3. 使用robots.txt。你可以用它來禁止對個別網頁和網站部分進行索引，指定主要的網站主機（以避免對映象進行索引），為訪問網站頁面設定一個時間延遲。
  4. 配置伺服器，以便在出現錯誤的情況下給出正確的HTTP頭資訊。例如，如果該頁面不存在，它應該返回一個404錯誤。

Mail.Ru bot如何出現在伺服器日誌中

Mail.Ru bot使用以下使用者代理：

  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

如何檢查一個爬蟲是否來自go.mail.ru

為了驗證一個爬蟲是否真的屬於Mail.ru，您需要做以下工作。

  • 從網路伺服器的日誌中找到你感興趣的使用者代理的IP地址。
  • 然後，通過對這個ip地址進行反向dns查詢（例如*nix系統中的host命令），你可以確定其主機。我們的機器人進行查詢的所有主機名都以mail.ru結尾。
  • 最為直接的方法是，在您的WordPress安裝Spider Analyser外掛或者通過蜘蛛查詢線上工具，可以快速判斷。

在主機不匹配的情況下，這可能意味著這個爬蟲正在使用一個假的使用者代理，不屬於Mail.ru。

管理Mail.Ru bot行為的技術

元標籤

Mail.Ru bot會考慮到放置在網站頁面程式碼中的以下標籤的內容。

  • <meta name=”keywords” content=”…”/> – 在確定頁面與搜尋查詢的相關性時可以考慮到這一點。
  • <meta name=”Description” content=”…”/> – 這個標籤的內容在片段中使用。
  • <meta http-equiv=”Content-Type” content=”type; charset=…”/> – 這個標籤的值定義了檔案的型別及其編碼。
  • <meta http-equiv=”refresh” content=”N;url=_redirector_address” /> – 在給定頁面的N秒後將使用者重定向到url地址頁面。如果N很小，它被認為是一個臨時重定向，類似於HTTP程式碼302/303/307的伺服器重定向。

Mail.ru機器人還在標籤中考慮諸如以下的指示。

  • <meta name=”robots” content=”all”/> – 索引頁面上的文字和連結，類似於<meta name=”robots” content=”index, follow”/>。
  • <meta name=”robots” content=”noindex” /> – 不允許對頁面文字進行索引。
  • <meta name=”robots” content=”nofollow”/> – 禁止頁面上的索引連結。然而，如果這些網頁上其他地方有沒有nofollow的連結，那麼這些網頁仍然可以被索引。
  • <meta name=”robots” content=”none”/> – 不允許索引頁面上的文字和連結，類似於<meta name=”robots” content=”noindex, nofollow”/>。
  • <meta name=”robots” content=”noarchive”/> – 禁止在搜尋結果頁上鍊接到儲存的副本。

如果在頁面的程式碼中沒有指定元標籤，機器人會預設它們是 “正面 “的。在標籤之間發生衝突的情況下，機器人會選擇預設值。

例子。

<meta name="robots" content="all"/> 
<meta name="robots" content="noindex, follow"/>

由於標籤的衝突，機器人將預取所有值，即文字和連結將被索引。

一個值為all的標籤不適用於noarchive。

例子。

<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>

文字和連結將被編入索引，但在搜尋結果中不會有與儲存副本的連結。

Nofollow在標籤中的含義

標籤<a>中的nofollow值只適用於它所指定的連結。

<a href="url" rel="nofollow">連結文字</a>

標籤中canonical的含義

這個值可以用來將機器人指向一個規範的頁面，以防相同或非常相似的內容可以通過不同的連結進行檢索。

示例：

//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date

幾個頁面顯示相同的產品列表，按不同的欄位排序。

你可以選擇第一個連結作為標準連結，並在其他指定頁面的<head>中放置以下標籤

<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>

這樣一來，只有規範的頁面會被索引，避免了內容的重複。

Mail.Ru bot支援的編碼和語言

目前，俄文、英文、白俄羅斯文、烏克蘭文和哈薩克文的網頁已被編入索引。所有常見的編碼都被支援。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
Palpex crawler
Palpex crawler蜘蛛/爬蟲屬於搜尋引擎型別，由Palpex開發執行。您可以繼續閱讀下方資訊，以深入瞭解Palpex crawler基本資訊，使用者代理和訪問控制等。
lyonl
lyonl蜘蛛/爬蟲屬於搜尋引擎型別，由lyonl開發執行。您可以繼續閱讀下方資訊，以深入瞭解lyonl基本資訊，使用者代理和訪問控制等。
lyonl-crawler
lyonl-crawler蜘蛛/爬蟲屬於搜尋引擎型別，由lyonl開發執行。您可以繼續閱讀下方資訊，以深入瞭解lyonl-crawler基本資訊，使用者代理和訪問控制等。
kagi bot
kagi bot蜘蛛/爬蟲屬於搜尋引擎型別，由Kagi Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解kagi bot基本資訊，使用者代理和訪問控制等。
AVALW-SearchBot
AVALW-SearchBot蜘蛛/爬蟲屬於搜尋引擎型別，由AVALW SRL開發執行。您可以繼續閱讀下方資訊，以深入瞭解AVALW-SearchBot基本資訊，使用者代理和訪問控制等。
amazon-kendra
amazon-kendra蜘蛛/爬蟲屬於搜尋引擎型別，由Amazon.com, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解amazon-kendra基本資訊，使用者代理和訪問控制等。
Stripebot
Stripebot蜘蛛/爬蟲屬於搜尋引擎型別，由Stripe, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Stripebot基本資訊，使用者代理和訪問控制等。
Qwantbot
Qwantbot蜘蛛/爬蟲屬於搜尋引擎型別，由Qwant SAS開發執行。您可以繼續閱讀下方資訊，以深入瞭解Qwantbot基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles