AhrefsBot

是否攔截AhrefsBot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 AhrefsBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: AhrefsBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

什麼是AhrefsBot？

AhrefsBot是一個網路爬蟲，為Ahrefs線上營銷工具集的12萬億連結資料庫提供動力。它不斷地抓取網路，使我們的資料庫充滿新的連結，並檢查以前發現的連結的狀態，以便向我們的使用者提供最全面和最新的資料。

Ahrefs Bot從網上收集的連結資料被世界各地成千上萬的數字營銷人員用來計劃、執行和監測他們的網路營銷活動。

這些資料對搜尋引擎社羣有巨大的價值，因為它幫助營銷專家更好地瞭解世界上最大的搜尋引擎的基本演算法，以便他們能夠相應地優化網站。每24小時，我們的爬蟲會訪問60多億個網頁，每15-30分鐘更新一次Ahrefs的索引。

根據最近一項關於 “好的爬蟲 “的第三方研究，AhrefsBot是僅次於Googlebot的第二大活躍爬蟲。

AhrefsBot在您的網站上做什麼？

AhrefsBot正在抓取您的網站，對外向連結進行記錄，並將它們新增到我們的資料庫中。它將定期重新抓取您的網站，檢查以前發現的連結的當前狀態。

我們的爬蟲不會收集或儲存有關您網站的任何其他資訊。它不會在您的網站上觸發廣告（如果有的話），也不會為您的谷歌分析流量新增數字。

它是否遵守robots.txt檔案？

AhrefsBot嚴格遵守robots.txt，包括禁止和允許規則。

如何控制您網站上的AhrefsBot？

如上所述，AhrefsBot嚴格遵守您網站上的robots.txt檔案。因此，如果你需要，你可以在你的網站上完全控制它。

要改變AhrefsBot訪問您網站的頻率，您可以在您的robots.txt檔案中指定我們的機器人連續兩次請求之間的最小可接受延遲。

User-agent: AhrefsBotCrawl-Delay: [value]

其中Crawl-Delay值是以秒為單位的時間。

如果由於某種原因，你想阻止AhrefsBot訪問你的網站，請在你的伺服器上的robots.txt檔案中放入以下兩行：

User-agent: AhrefsBotDisallow: /

請注意，AhrefsBot可能需要一些時間來選擇你的robots.txt檔案中的變化。這將在每次預定抓取之前進行。

還請注意，如果您的robots.txt包含錯誤，AhrefsBot將無法識別您的命令，它將繼續按照以前的方式抓取您的網站。

閱讀更多關於robots.txt的資訊，請訪問www.robotstxt.org。

如果您認為AhrefsBot在您的網站上有某種程度的不當行為，或者您對它有任何疑問，請毫不猶豫地聯絡AhrefsBot的支援團隊support@ahrefs.com。