Bingbot

是否攔截Bingbot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Bingbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Bingbot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

必應目前運營著四個主要的爬蟲：Bingbot、AdIdxBot、BingPreview和MicrosoftPreview，其中最為常見的是Bingbot：

驗證真偽

您可以使用使用者代理字串識別必應爬網程式。但使用者代理字串很容易被欺騙，因此並非每個具有這些使用者代理字串的請求都可能來自真正的必應爬網程式。通常，必應不共享我們從中抓取網路的 IP 地址，但您始終可以使用驗證必應機器人工具來檢查爬網程式是否屬於必應。又或者通過閃電博的蜘蛛爬蟲查詢工具或者WordPress外掛Spider Analyser來識別其真偽。

控制爬網和爬網速率

要控制我們的抓取工具與您的網站的互動方式，您有兩種選擇：

• Robots.txt檔案可以配置為告訴必應抓取工具如何與您的網站互動。
• 必應網站站長工具允許您使用爬網控制元件工具。