YandexBot

是否攔截YandexBot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 YandexBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: YandexBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

Yandex Bot是Yandex搜尋引擎的爬蟲。Yandex是一家俄羅斯網際網路公司，運營著俄羅斯最大的搜尋引擎，在該國約佔60%的市場份額。

如何將網站新增到搜尋中？

網站頁面在Yandex機器人訪問該網站後出現在搜尋結果中。為了讓機器人抓取和載入頁面。

步驟1. 使網站頁面對機器人可見

有幾種方法可以讓Yandex機器人瞭解網站的變化。

方法	自動化	建議
The Sitemap file		生成並更新該檔案。這將使您能夠傳送所有網站URL的資訊。機器人在下次抓取網站時可以處理該檔案內容。
Crawling pages with a Yandex.Metrica tag		在您的網站上安裝Yandex.Metrica標籤，並將其連結到Yandex.Webmaster中的網站。這樣，你就可以通知我們關於受歡迎的網頁。
Page reindexing	—	在Yandex.Webmaster的Indexing → Page reindexing頁面，你可以向機器人發出訊號，讓它訪問網站的某些頁面。你可以用這種方法來報告最重要的或新的頁面的變化。
The IndexNow protocol		幫助自動報告更新、新建和刪除的頁面。需要API技能。

提示：保持網站的質量。機器人發現並上傳到資料庫的有用網頁越多，它們就越有可能顯示在搜尋結果中。欲瞭解更多資訊，請參閱低質量網站的跡象部分。

步驟2. 隱藏非公開內容

在機器人抓取網站後，這些頁面可以在兩週內出現在搜尋中。

此外，機器人可以通過開啟其他資源的連結來了解網站的情況。這可能需要時間，而且不能保證機器人抓取了你希望在搜尋結果中顯示的所有頁面。

瞭解更多關於Yandex搜尋的工作方式

要跟蹤網站在搜尋結果中的索引和排名，請將網站新增到Yandex.Webmaster。在Yandex.Webmaster中，您還可以檢視網站在搜尋結果中的顯示情況以及您可以做哪些改進–開啟 “在搜尋結果中檢視 “頁面。

為什麼頁面出現在搜尋結果中需要這麼長時間？

確保：

• 機器人可以訪問頁面（使用伺服器響應檢查工具）。
• 有關頁面的資訊顯示在Sitemap檔案中。
• 有指向以前編制索引的網站頁面的頁面的可用連結。
• Disallow和noindex prohibiting指令以及noindex HTML元素僅阻止技術頁面和重複頁面進行索引。

使用“檢查URL狀態”工具檢查Yandex機器人對頁面的瞭解。要通知robot有關新的或更新的頁面，請將其傳送以重新編制索引。