GoogleBot

是否拦截GoogleBot？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 GoogleBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: GoogleBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

Googlebot 是 Google 的网页抓取工具的通用名称。具体而言，Googlebot 是两种不同类型的抓取工具的通用名称：一个是模拟桌面设备用户的桌面版抓取工具，一个是模拟移动设备用户的移动版抓取工具。

您的网站很可能会被 Googlebot 桌面版和 Googlebot 智能手机版同时抓取。您可以通过查看请求中的用户代理字符串来确定 Googlebot 的子类型。不过，这两类抓取工具都遵循 robots.txt 中的同一产品令牌（用户代理令牌），因此您无法使用 robots.txt 有选择地指定 Googlebot 智能手机版或 Googlebot 桌面版。

如果您的网站已转换为采用 Google 的优先将移动版网站编入索引机制，那么多数 Googlebot 抓取请求都会通过移动版抓取工具发出，少数请求会通过桌面版抓取工具发出。对于尚未转换的网站，多数抓取操作则会通过桌面版抓取工具发出。在这两种情况下，负责完成少数抓取操作的抓取工具都仅会抓取负责完成多数抓取操作的抓取工具已抓取过的网址。

Googlebot 如何访问您的网站

对于大多数网站，Googlebot 的平均访问频率不会高于几秒钟一次。不过，由于存在延迟，在一小段时间内，此频率可能会略高一些。

Googlebot 可在数千台计算机上同时运行，以提高性能并随着网络规模的扩大而扩展其作用范围。此外，为了降低占用的带宽，我们会在多台计算机上运行多个抓取工具，而这些计算机就位于它们可能会抓取的网站附近。因此，您的日志可能会显示来自多个 IP 地址的访问，且都使用了 Googlebot 用户代理。我们的目标是，每次访问您的网站时都尽可能多地抓取网页，但不会过多地占用服务器的带宽。如果您的网站跟不上 Google 的抓取请求频率，您可以请求更改抓取速度。

Googlebot 会从美国境内的 IP 地址进行抓取。如果 Googlebot 检测到某个网站屏蔽了来自美国的请求，则可能会尝试从位于其他国家/地区的 IP 地址进行抓取。Googlebot 当前使用的 IP 地址段列表以 JSON 格式提供。

通常，Googlebot 会通过 HTTP/1.1 抓取内容。但是，如果网站支持 HTTP/2 并且通过 HTTP/2 抓取内容可能会使网站受益，那么 Googlebot 可能就会通过 HTTP/2 抓取该网站。这可能会为网站和 Googlebot 节省计算资源（例如 CPU、RAM），但不会影响网站索引编制效果和排名。

如需禁止通过 HTTP/2 抓取，请对托管您网站的服务器做出以下指示：当 Googlebot 尝试通过 HTTP/2 抓取您的网站时，返回 421 HTTP 状态代码。如果这种方法不可行，您可以向 Googlebot 团队发送消息（但这只是临时解决方案）

Googlebot 可以抓取 HTML 文件或受支持的文本型文件中的前 15MB 内容。HTML 中引用的所有资源（例如图片、视频、CSS 和 JavaScript）都是单独提取的。在抓取完该文件的前 15MB 内容后，Googlebot 会停止抓取，并且只会考虑将前 15MB 的内容编入索引。文件大小上限适用于未压缩的数据。其他抓取工具可能有不同的限制。

禁止 Googlebot 访问您的网站

对于网络服务器，要想通过不发布指向它的链接来达到保密目的几乎是不可能的。例如，只要有人通过您的“私密”服务器上的链接访问了另一网络服务器，您的“私密”网址就可能会出现在引荐来源网址标记中，并可能会被所访问的网络服务器存储和发布在其引荐来源网址日志中。同样，网络中包含许多已过期和已损坏的链接。 只要有人发布了指向您网站的不正确链接，或未能成功更新链接以反映您服务器中的更改，Googlebot 就会尝试从您的网站抓取不正确的链接。

如果您想阻止 Googlebot 抓取您网站上的内容，可以采用多种方法。请注意这些方法之间的差异，例如阻止 Googlebot 抓取网页、阻止 Googlebot 将网页编入索引以及完全阻止任何抓取工具和用户访问网页需执行的操作各不相同。

验证 Googlebot

在您决定禁止 Googlebot 访问您的内容之前，请注意 Googlebot 所用的用户代理字符串经常会被其他抓取工具假冒。因此，请务必验证有问题的请求是否确实来自 Google。若要验证请求是否确实来自 Googlebot，最佳方法就是对请求的来源 IP 地址进行 DNS 反向查找，或将来源 IP 地址与 Googlebot IP 地址范围进行比对。