serpstatbot

是否攔截serpstatbot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 serpstatbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: serpstatbot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

serpstatbot 的目的是什麼？

serpstatbot 會不斷爬行網路，新增新連結並跟蹤連結資料庫的變化。serpstatbot 為使用者提供市場上最大的反向連結資料庫之一，用於規劃和監控營銷活動。

如何處理抓取的資料？

抓取的資料會新增到反向連結索引中。您可以在 Serpstat 中訪問索引中的資料。

如何處理 404 或 301 頁面？

serpstatbot 收集歷史資料，以確保臨時變化不會對您的網站產生影響。如果帶有404或301伺服器響應程式碼的頁面連結仍然存在，serpstatbot將繼續查詢並跟蹤它們。您可以檢視 Google 404 政策，瞭解更多資訊。

機器人會抓取帶有 rel = nofollow 屬性的連結嗎？

是的，它會掃描。

如何 阻止serpstatbot？

Serpstatbot 遵循 robots.txt 標準。如果您不希望機器人抓取您的網站，請在robots.txt中新增以下文字：

User-agent: serpstatbot
Disallow: /

請始終確保機器人本身能獲取 robots.txt 檔案。如果不能，它將預設抓取您的網站。

如果您認為 serpstatbot 沒有遵從您的 robots.txt 命令，請通過電子郵件聯絡： serpstatbot@serpstatbot.com。請附上您網站的URL和日誌條目，以顯示機器人試圖抓取它不應該抓取的頁面。

serpstatbot 支援 robots.txt 中的哪些命令？

Serpstatbot支援在robots.txt中新增以下內容：

• Crawl-delay（抓取延遲）最多20秒（更高的數字將被削減）
• 當嘗試獲取 robots.txt 時，在同一網站內 Redirecting（重定向）
• 與雅虎萬用字元規範一致的 Disallow 指令中的簡單模式匹配
• 如果 Allow 指令較長，則 Allow 指令優先於 Disallow 指令
• 檢索 robots.txt 檔案失敗（如 403 Forbidden）會被視為沒有任何禁止。在這種情況下，機器人將抓取所有可實際訪問的頁面。

為什麼我的 robots.txt block 在 serpstatbot 上不起作用？

有幾個原因：

• 請求 robots.txt 後的站外重定向：serpstatbot 只訪問同一域名的重定向。
• 如果在同一伺服器上執行多個域，某些伺服器會將這些域的訪問記錄到一個檔案中，而不指定域名。您應在訪問日誌中新增域名，或按域分割訪問日誌。

如何降低 serpstatbot 的執行速度？

您可以通過在 robots.txt 檔案中新增以下設定來減慢機器人的速度：

User-Agent: serpstatbot
Crawl-Delay: 5

爬行延遲（ Crawl-Delay ）必須是整數：代表請求之間等待的秒數。Serpstatbot 接受的網站請求延遲時間最多為20秒。高爬行延遲應儘量減少對您網站的影響。如果該引數設定為  User-Agent: * .

如果 Serpstatbot 機器人發現您為其他機器人使用了 Crawl-Delay ，那麼它會自動放慢爬行速度。

我能得到Serpstatbot的全部IP列表嗎？

這是 Serpstatbot 使用的所有 IP 的列表。