MojeekBot

是否攔截MojeekBot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 MojeekBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: MojeekBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

MojeekBot是Mojeek搜尋引擎的網路爬蟲。儘管Mojeek已經盡力考慮到網站管理員、網站所有者和主機，但不幸的是，錯誤和誤差是不可避免的。如果您發現Mojeek的機器人有任何不當行為，抓取了不應該抓取的頁面或目錄，或者您只是有一般的詢問，請與Mojeek聯絡。

抓取頻率

無論成功與否，MojeekBot都不應該在同一時間段內從你的網站上請求超過一個頁面。MojeekBot目前不支援非標準的Robots.txt抓取延遲指令。

Robots.txt

MojeekBot遵從機器人排除標準。MojeekBot將服從第一個含有 “MojeekBot “的使用者代理的記錄。如果沒有這樣的記錄，它將服從第一個使用者代理為 “*”的條目。

MojeekBot不會檢索任何含有禁止字串的URL的檔案，即：

User-agent: *
Disallow: /private

這將導致所有包含”/private“字串的URL被禁止。例如，以下所有的內容都不會被檢索到。

/private/
/private.html

元標籤

Mojeek的引擎遵守noindex、nocache和nofollow元標籤。如果你把以下內容放在你的頁面頭部。

<META NAME="robots" CONTENT="noindex">。

MojeekBot會檢索到該頁面，但不會對該檔案進行索引，也不會將其輸入搜尋資料庫。

驗證MojeekBot

為了驗證這是一個真正的MojeekBot訪問你的網站，執行兩個步驟，首先，對訪問的IP地址進行反向DNS查詢：-

> host 5.102.173.71
71.173.102.5.in-addr.arpa domain name pointer crawl-5-102-173-71.mojeek.com.

這應該可以解析為mojeek.com域名內的一個名字。現在通過對上述響應進行前向DNS查詢，檢查這是不是一個錯誤的反向DNS：-

> host crawl-5-102-173-71.mojeek.com
crawl-5-102-173-71.mojeek.com has address 5.102.173.71

現在應該會返回原來訪問的IP地址，如果不是，就不是真正的MojeekBot。