GoogleBot

是否攔截GoogleBot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 GoogleBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: GoogleBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

Googlebot 是 Google 的網頁抓取工具的通用名稱。具體而言，Googlebot 是兩種不同型別的抓取工具的通用名稱：一個是模擬桌面裝置使用者的桌面版抓取工具，一個是模擬移動裝置使用者的移動版抓取工具。

您的網站很可能會被 Googlebot 桌面版和 Googlebot 智慧手機版同時抓取。您可以通過檢視請求中的使用者代理字串來確定 Googlebot 的子型別。不過，這兩類抓取工具都遵循 robots.txt 中的同一產品令牌（使用者代理令牌），因此您無法使用 robots.txt 有選擇地指定 Googlebot 智慧手機版或 Googlebot 桌面版。

如果您的網站已轉換為採用 Google 的優先將移動版網站編入索引機制，那麼多數 Googlebot 抓取請求都會通過移動版抓取工具發出，少數請求會通過桌面版抓取工具發出。對於尚未轉換的網站，多數抓取操作則會通過桌面版抓取工具發出。在這兩種情況下，負責完成少數抓取操作的抓取工具都僅會抓取負責完成多數抓取操作的抓取工具已抓取過的網址。

Googlebot 如何訪問您的網站

對於大多數網站，Googlebot 的平均訪問頻率不會高於幾秒鐘一次。不過，由於存在延遲，在一小段時間內，此頻率可能會略高一些。

Googlebot 可在數千臺計算機上同時執行，以提高效能並隨著網路規模的擴大而擴充套件其作用範圍。此外，為了降低佔用的頻寬，我們會在多臺計算機上執行多個抓取工具，而這些計算機就位於它們可能會抓取的網站附近。因此，您的日誌可能會顯示來自多個 IP 地址的訪問，且都使用了 Googlebot 使用者代理。我們的目標是，每次訪問您的網站時都儘可能多地抓取網頁，但不會過多地佔用伺服器的頻寬。如果您的網站跟不上 Google 的抓取請求頻率，您可以請求更改抓取速度。

Googlebot 會從美國境內的 IP 地址進行抓取。如果 Googlebot 檢測到某個網站遮蔽了來自美國的請求，則可能會嘗試從位於其他國家/地區的 IP 地址進行抓取。Googlebot 當前使用的 IP 地址段列表以 JSON 格式提供。

通常，Googlebot 會通過 HTTP/1.1 抓取內容。但是，如果網站支援 HTTP/2 並且通過 HTTP/2 抓取內容可能會使網站受益，那麼 Googlebot 可能就會通過 HTTP/2 抓取該網站。這可能會為網站和 Googlebot 節省計算資源（例如 CPU、RAM），但不會影響網站索引編制效果和排名。

如需禁止通過 HTTP/2 抓取，請對託管您網站的伺服器做出以下指示：當 Googlebot 嘗試通過 HTTP/2 抓取您的網站時，返回 421 HTTP 狀態程式碼。如果這種方法不可行，您可以向 Googlebot 團隊傳送訊息（但這只是臨時解決方案）

Googlebot 可以抓取 HTML 檔案或受支援的文字型檔案中的前 15MB 內容。HTML 中引用的所有資源（例如圖片、視訊、CSS 和 JavaScript）都是單獨提取的。在抓取完該檔案的前 15MB 內容後，Googlebot 會停止抓取，並且只會考慮將前 15MB 的內容編入索引。檔案大小上限適用於未壓縮的資料。其他抓取工具可能有不同的限制。

禁止 Googlebot 訪問您的網站

對於網路伺服器，要想通過不釋出指向它的連結來達到保密目的幾乎是不可能的。例如，只要有人通過您的“私密”伺服器上的連結訪問了另一網路伺服器，您的“私密”網址就可能會出現在引薦來源網址標記中，並可能會被所訪問的網路伺服器儲存和釋出在其引薦來源網址日誌中。同樣，網路中包含許多已過期和已損壞的連結。 只要有人釋出了指向您網站的不正確連結，或未能成功更新連結以反映您伺服器中的更改，Googlebot 就會嘗試從您的網站抓取不正確的連結。

如果您想阻止 Googlebot 抓取您網站上的內容，可以採用多種方法。請注意這些方法之間的差異，例如阻止 Googlebot 抓取網頁、阻止 Googlebot 將網頁編入索引以及完全阻止任何抓取工具和使用者訪問網頁需執行的操作各不相同。

驗證 Googlebot

在您決定禁止 Googlebot 訪問您的內容之前，請注意 Googlebot 所用的使用者代理字串經常會被其他抓取工具假冒。因此，請務必驗證有問題的請求是否確實來自 Google。若要驗證請求是否確實來自 Googlebot，最佳方法就是對請求的來源 IP 地址進行 DNS 反向查詢，或將來源 IP 地址與 Googlebot IP 地址範圍進行比對。