什么是抓取预算（Crawl Budget）及如何最大化其利用价值

抓取预算（Crawl Budget），您又可以将之称为抓取频率、抓取量。这个量一般是由搜索引擎蜘蛛根据网站的质量度和权重给域名分配的。

理解抓取预算的定义，重要性及最大化其效率，这有利于网站的索引、排名。

什么是抓取预算？

抓取预算是Googlebot在给定时间范围内在网站上抓取和索引的页面数。

为什么抓取预算对SEO很重要？

简而言之：如果谷歌不索引一个页面，它就不会为任何东西排名。

因此，如果您的网页数量超出了您网站的抓取预算，那么您的网站上的网页就会未被编入索引。

也就是说，绝大多数网站不需要担心抓取预算。谷歌真的很擅长查找和索引页面。

也就是说，在某些情况下您确实需要注意抓取预算：

• 您经营一个大型网站：如果您的网站（如电子商务网站）有10k多个页面，Google可能很难找到所有页面。
• 您刚刚添加了一堆页面：如果您最近在您的网站上添加了一个包含数百个页面的新部分，您希望确保您有足够的抓取预算来快速将它们全部编入索引。
• 大量重定向：大量重定向和重定向链会耗尽您的抓取预算。

有了这个，这里有一些简单的方法可以最大化您网站的抓取预算。

最佳实践

提高网站速度

提高您网站的页面速度可以让Googlebot抓取您网站的更多网址。

事实上，谷歌声明：

让网站更快改善了用户体验，同时也提高了抓取速度。

换句话说：

页面加载缓慢会占用宝贵的Googlebot时间。

但是，如果您的网页加载速度很快，Googlebot就有时间访问您的更多网页并将其编入索引。

使用内部链接

Googlebot会优先考虑具有大量指向它们的外部和内部链接的页面。

是的，理想情况下，您会获得指向您网站上每个页面的反向链接。但这在大多数情况下是不现实的。

这就是为什么内部链接如此关键的原因。

您的内部链接会将Googlebot发送到您网站上您希望编入索引的所有不同页面。

扁平化网站结构

根据谷歌：

在互联网上更受欢迎的 URL 往往被更频繁地抓取，以使它们在我们的索引中保持新鲜。

而在谷歌的世界里，popular（流行）=link authority（链接权重）。

这就是为什么您要在您的网站上使用平面网站结构的原因。

一个扁平的结构设置了一些东西，以便您网站的所有页面都有一些链接权重流向它们。

避免“孤立页面”

孤立页面是没有指向它们的内部或外部链接的页面。

谷歌很难找到孤立页面。因此，如果您想充分利用抓取预算，请确保至少有一个内部或外部链接指向您网站上的每个页面。

限制重复内容

出于很多原因，避免重复内容是明智的。

事实证明，重复的内容会损害您的抓取预算。

这是因为Google不想通过索引具有相同内容的多个页面来浪费资源。

因此，请确保您网站的100%页面由独特的优质内容组成。

对于拥有10k+页面的网站来说，这并不容易。但是，如果您想从抓取预算中获得最大收益，这是必须的。

学习更多

优化您的抓取和索引编制：关于Google如何查找、抓取和索引页面的有用指南。

抓取预算优化完整指南：关于优化抓取预算的超级深入视频（包括现实生活中的示例）。

抓取统计报告（网站）：Google发布的一篇关于如何在Google Search Console中阅读和解释抓取报告的文章。