Mail.Ru bot

是否攔截Mail.Ru bot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Mail.Ru bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Mail.Ru bot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

搜尋爬蟲或蜘蛛（spider，crawler，bot）是一個在網際網路上 “行走 “的程式，然後下載它們以便隨後編制索引。在它下載了檔案之後，機器人對其進行分析，定義其型別、編碼、語言，並將頁面的連結新增到佇列中，以便進一步編制索引。機器人會定期返回以前訪問過的網頁，以檢查其相關性。

除了索引整個網際網路的主要機器人外，還有專門的機器人，分別下載圖片、視訊、新聞、rss等。通過這種方式，他們可以更迅速地對檔案進行索引。

如何讓Mail.Ru bot更快建立索引

有幾個提示可以幫助加快你的網頁的索引。

1. 建立一個網站地圖（如果你有一個大的網站，可以建立幾個檔案），其中包含一個用於索引的頁面尿素列表。不要忘了更新它!
2. 建立一個網站地圖頁面。你可以把你網站的所有重要頁面的連結放在上面。
3. 使用robots.txt。你可以用它來禁止對個別網頁和網站部分進行索引，指定主要的網站主機（以避免對映象進行索引），為訪問網站頁面設定一個時間延遲。
4. 配置伺服器，以便在出現錯誤的情況下給出正確的HTTP頭資訊。例如，如果該頁面不存在，它應該返回一個404錯誤。

Mail.Ru bot如何出現在伺服器日誌中

Mail.Ru bot使用以下使用者代理：

• Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
• Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
• Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
• Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
• Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
• Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
• Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

如何檢查一個爬蟲是否來自go.mail.ru

為了驗證一個爬蟲是否真的屬於Mail.ru，您需要做以下工作。

• 從網路伺服器的日誌中找到你感興趣的使用者代理的IP地址。
• 然後，通過對這個ip地址進行反向dns查詢（例如*nix系統中的host命令），你可以確定其主機。我們的機器人進行查詢的所有主機名都以mail.ru結尾。
• 最為直接的方法是，在您的WordPress安裝Spider Analyser外掛或者通過蜘蛛查詢線上工具，可以快速判斷。

在主機不匹配的情況下，這可能意味著這個爬蟲正在使用一個假的使用者代理，不屬於Mail.ru。

管理Mail.Ru bot行為的技術

元標籤

Mail.Ru bot會考慮到放置在網站頁面程式碼中的以下標籤的內容。

• <meta name=”keywords” content=”…”/> – 在確定頁面與搜尋查詢的相關性時可以考慮到這一點。
• <meta name=”Description” content=”…”/> – 這個標籤的內容在片段中使用。
• <meta http-equiv=”Content-Type” content=”type; charset=…”/> – 這個標籤的值定義了檔案的型別及其編碼。
• <meta http-equiv=”refresh” content=”N;url=_redirector_address” /> – 在給定頁面的N秒後將使用者重定向到url地址頁面。如果N很小，它被認為是一個臨時重定向，類似於HTTP程式碼302/303/307的伺服器重定向。

Mail.ru機器人還在標籤中考慮諸如以下的指示。

• <meta name=”robots” content=”all”/> – 索引頁面上的文字和連結，類似於<meta name=”robots” content=”index, follow”/>。
• <meta name=”robots” content=”noindex” /> – 不允許對頁面文字進行索引。
• <meta name=”robots” content=”nofollow”/> – 禁止頁面上的索引連結。然而，如果這些網頁上其他地方有沒有nofollow的連結，那麼這些網頁仍然可以被索引。
• <meta name=”robots” content=”none”/> – 不允許索引頁面上的文字和連結，類似於<meta name=”robots” content=”noindex, nofollow”/>。
• <meta name=”robots” content=”noarchive”/> – 禁止在搜尋結果頁上鍊接到儲存的副本。

如果在頁面的程式碼中沒有指定元標籤，機器人會預設它們是 “正面 “的。在標籤之間發生衝突的情況下，機器人會選擇預設值。

例子。

<meta name="robots" content="all"/> 
<meta name="robots" content="noindex, follow"/>

由於標籤的衝突，機器人將預取所有值，即文字和連結將被索引。

一個值為all的標籤不適用於noarchive。

例子。

<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>

文字和連結將被編入索引，但在搜尋結果中不會有與儲存副本的連結。

Nofollow在標籤中的含義

標籤<a>中的nofollow值只適用於它所指定的連結。

<a href="url" rel="nofollow">連結文字</a>

標籤中canonical的含義

這個值可以用來將機器人指向一個規範的頁面，以防相同或非常相似的內容可以通過不同的連結進行檢索。

示例：

//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date

幾個頁面顯示相同的產品列表，按不同的欄位排序。

你可以選擇第一個連結作為標準連結，並在其他指定頁面的<head>中放置以下標籤

<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>

這樣一來，只有規範的頁面會被索引，避免了內容的重複。

Mail.Ru bot支援的編碼和語言

目前，俄文、英文、白俄羅斯文、烏克蘭文和哈薩克文的網頁已被編入索引。所有常見的編碼都被支援。