MJ12bot

是否攔截MJ12bot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 MJ12bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: MJ12bot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

Majestic是一個總部位於英國的專業搜尋引擎，被13種語言和60多個國家的數十萬家企業使用，以繪製獨立於基於消費者的搜尋引擎的網際網路地圖。Majestic還為其他合法技術提供支援，這些技術有助於瞭解不斷變化的網路結構。

網站所有者可以在 majestic.com 上檢視有關其自己網站的資料.

MJ12Bot 目前不快取網頁內容或個人資料。相反，它對映網站之間的連結關係以構建搜尋引擎。這些資料可供技術和公眾使用，無論是在Majestic上搜尋關鍵字還是網站。有關爬蟲背後的社羣專案的詳細資訊，請參見 Majestic12.co.uk.

MJ12bot 在我的網站上做什麼？

MJ12Bot蜘蛛網路的目的是建立一個搜尋引擎，具有快速高效的可下載分散式爬蟲，使寬頻連線的人能夠幫助做出貢獻，Majestic希望成為世界上最大的搜尋引擎。Majestic-12的全文搜尋引擎生產目前處於研究階段，部分資金來自Majestic研究的商業化.

已爬網資料會發生什麼情況？

已爬網的資料（目前只有連結的 Web 圖）被新增到最大的公共反向連結搜尋引擎索引中，MJ12Bot將其作為稱為網站分析的專用工具進行維護。從廣泛的反向連結索引中瞭解您自己的反向連結.

我的虛擬主機攔截了MJ12bot，為什麼？

某些 ISP 和配置不當的防火牆可能會攔截 MJ12Bot 抓取您的網站。這通常是因為 ISP 或防火牆不明白這樣做，他們會在以後攔截您網站的真正訪問者。有些人還這樣做以最小化頻寬。在這些情況下，一些 ISP 在瞭解機器人的目的時可以為所有使用者刪除阻止。如果您的 ISP 不允許Majestic的機器人，Majestic建議您考慮移動 ISP。

為什麼你一直抓取 404 或 301 頁面？

Majestic有很長的記憶，並希望確保臨時錯誤、網站關閉頁面或對網站的其他臨時更改不會在不應該發生時對您的網站配置檔案造成無法修復的更改。此外，如果仍有指向這些頁面的連結，它們將繼續被找到並關注。谷歌已經發表了一份宣告，因為他們也被問到這個問題，他們的理由當然和Majestic一樣，他們的答案可以在這裡找到： 谷歌404政策.

您正在使用 rel=nofollow 抓取連結

這是對（也許名稱不佳）nofollow屬性的常見誤解。谷歌在2005年引入了“rel=nofollow”屬性，指出如此標記的連結不會影響目標的Pagerank，它不會阻止爬蟲訪問目標頁面，如果目標頁面有多個連結，這一點變得特別明顯，有些可能有這個屬性，有些可能沒有。如果您希望阻止機器人抓取頁面，則應使用 robots.txt 檔案來禁止目標頁面。

有關rel=nofollow的更多資訊可以在這裡找到：維基百科Nofollow。

如何攔截 MJ12bot？

MJ12bot遵守robots.txt。如果您希望攔截機器人抓取網站，請將以下文字新增到您的robots.txt：

User-agent: MJ12bot
Disallow: /

請不要通過 htaccess 中的 IP 攔截Majestic的機器人 – Majestic不使用任何連續的 IP 塊，因為Majestic是基於社羣的分散式爬蟲。請始終確保機器人實際上可以檢索robots.txt本身。如果不能，那麼它將假定可以抓取您的網站。

如果您有理由相信MJ12bot不服從您的robots.txt命令，請通過電子郵件告知Majestic：bot@majestic12.co.uk。請提供您網站的 URL 和日誌條目，顯示機器人試圖檢索不應該檢索的頁面。

MJ12bot支援robots.txt哪些命令規則？

目前的爬蟲程式支援robots.txt的以下非標準擴充套件：

• 最長為20秒的抓取延遲（更高的值將被四捨五入為我們的機器人所支援的最大值）
• 當試圖獲取robots.txt時的重定向（在同一網站內）。
• Disallow指令中的簡單模式匹配與雅虎的萬用字元規範相容
• 如果Allow指令更具體（長度更長），可以覆蓋Disallow指令
• 某些獲取robots.txt的失敗，如403 Forbidden將被視為空白的禁止指令。

為什麼我的robots.txt塊在MJ12bot上不起作用？

Majestic非常希望看到任何關於MJ12bot可能違反robots.txt的報告。

引發了許多誤報–這可以作為配置網路伺服器時的一個有用的檢查表。

1. 請求 robots.txt 時的站外重定向 – MJ12Bot 遵循重定向，但只在同一域內。最理想的是robots.txt在標準中規定的”/robots.txt “中可用。
2. 在同一伺服器上執行的多個域。現代的網路伺服器，如Apache，可以將對多個域的訪問記錄到一個檔案中–當試圖檢視哪個網路伺服器在哪個點被訪問時，這可能會造成混亂。你可以考慮在訪問日誌中加入域的資訊，或者在每個域的基礎上分割訪問日誌。
3. Robots.txt與開發者副本不同步。我們曾接到投訴，說MJ12Bot不服從robots.txt，後來才發現，開發者是針對一個開發伺服器進行測試的，而該伺服器與實時版本不同步。

如何減慢 MJ12bot 的速度？

您可以通過將以下內容新增到robots.txt檔案中來輕鬆減慢機器人的速度：

User-Agent: MJ12bot
Crawl-Delay: 5

爬網延遲應為整數，表示請求之間的等待秒數。MJ12bot 將在對您的網站的請求之間產生長達 20 秒的延遲 – 但請注意，雖然不太可能，但您的網站仍有可能同時從多個 MJ12bots 中抓取。設定較高的抓取延遲應該可以最大程度地減少對您網站的影響。如果此爬網延遲引數用於 * 萬用字元，則該引數也將處於活動狀態。

如果Majestic的機器人檢測到您對任何其他機器人使用了抓取延遲，那麼即使沒有特別要求 MJ12bot 這樣做，它也會自動爬得更慢。

MJ12bot的當前版本是什麼？

目前 MJ12bot 的 v1.4.x 系列執行版本有：

• v1.4.8（當前 – 2017 年 4 月）
• v1.4.7 （被 1.4.8 取代 – 2018 年底）
• v1.4.6（被 1.4.7 取代 – 2016 年 6 月）
• v1.4.5（逐步淘汰 – 2016 年 6 月）
• v1.4.4（2014 年 5 月逐步淘汰）

如何驗證請求是否來自您？

不幸的是，作為一個社羣專案，Majestic無法像一些資金較好的同行那樣將Majestic的機器人限制在有限數量的 IP 地址上。但是，Majestic可以向您的網站傳送預先安排的識別符號字串，其中包含所有請求。這可以作為“CRAWLER-IDENT”欄位中的 http 或 https 標頭的一部分傳送，也可以作為使用者代理字串的一部分傳送。Majestic不會與任何其他人共享此字串，也不會將其傳送到您請求的任何其他域或子域，因此包含此字串的請求可以驗證為來自Majestic的網路。要使用此功能，請聯絡 bot@majestic12.co.uk，提供您網站的詳細資訊和您要傳送的識別符號，或者如果您願意，Majestic可以為您生成一個隨機識別符號字串。