YandexBot

是否拦截YandexBot？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 YandexBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: YandexBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

Yandex Bot是Yandex搜索引擎的爬虫。Yandex是一家俄罗斯互联网公司，运营着俄罗斯最大的搜索引擎，在该国约占60%的市场份额。

如何将网站添加到搜索中？

网站页面在Yandex机器人访问该网站后出现在搜索结果中。为了让机器人抓取和加载页面。

步骤1. 使网站页面对机器人可见

有几种方法可以让Yandex机器人了解网站的变化。

方法	自动化	建议
The Sitemap file		生成并更新该文件。这将使您能够发送所有网站URL的信息。机器人在下次抓取网站时可以处理该文件内容。
Crawling pages with a Yandex.Metrica tag		在您的网站上安装Yandex.Metrica标签，并将其链接到Yandex.Webmaster中的网站。这样，你就可以通知我们关于受欢迎的网页。
Page reindexing	—	在Yandex.Webmaster的Indexing → Page reindexing页面，你可以向机器人发出信号，让它访问网站的某些页面。你可以用这种方法来报告最重要的或新的页面的变化。
The IndexNow protocol		帮助自动报告更新、新建和删除的页面。需要API技能。

提示：保持网站的质量。机器人发现并上传到数据库的有用网页越多，它们就越有可能显示在搜索结果中。欲了解更多信息，请参阅低质量网站的迹象部分。

步骤2. 隐藏非公开内容

在机器人抓取网站后，这些页面可以在两周内出现在搜索中。

此外，机器人可以通过打开其他资源的链接来了解网站的情况。这可能需要时间，而且不能保证机器人抓取了你希望在搜索结果中显示的所有页面。

了解更多关于Yandex搜索的工作方式

要跟踪网站在搜索结果中的索引和排名，请将网站添加到Yandex.Webmaster。在Yandex.Webmaster中，您还可以查看网站在搜索结果中的显示情况以及您可以做哪些改进–打开 “在搜索结果中查看 “页面。

为什么页面出现在搜索结果中需要这么长时间？

确保：

• 机器人可以访问页面（使用服务器响应检查工具）。
• 有关页面的信息显示在Sitemap文件中。
• 有指向以前编制索引的网站页面的页面的可用链接。
• Disallow和noindex prohibiting指令以及noindex HTML元素仅阻止技术页面和重复页面进行索引。

使用“检查URL状态”工具检查Yandex机器人对页面的了解。要通知robot有关新的或更新的页面，请将其发送以重新编制索引。