360spider

是否攔截360spider？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 360spider 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: 360spider
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

為了實現對網站更好的收錄，建議各位站長詳細檢視360搜尋對Robots協議的支援和擴充套件說明，以實現對網站內容更高效、智慧的收錄。

360搜尋對Robots協議的支援

360搜尋支援Robots協議的主要命令，以下為具體說明：

1. user-agent

360搜尋各產品的爬蟲user-agent為：

• 網頁搜尋：360Spider
• 圖片搜尋：360Spider-Image
• 視訊搜尋：360Spider-Video

2. Allow

站長可通過Allow命令指定建議收錄的檔案、目錄 。

3. Disallow

站長可通過Disallow命令指定不建議收錄的檔案、目錄。

360搜尋對Robots協議的擴充套件

360搜尋根據站長們的反饋，會陸續推出擴充套件的Robots協議命令。這些命令將能幫助站長們提高和360搜尋爬蟲溝通的效率，減少站長們維護Robots協議檔案的技術成本。

360搜尋首個擴充套件命令是：indexpage，站長們可以使用此命令告知360搜尋哪些網頁經常更新。360搜尋會根據站長的指示以及自己的演算法，智慧調整爬蟲抓取頻率，實現對您網站新內容的更高頻率抓取。

在命令中可以使用*、$等萬用字元。

示例：

使用萬用字元的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用萬用字元的：

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

對Robots協議的善意使用

Robots協議是一個搜尋引擎和網站之間的善意協議，360搜尋鼓勵站長們也以善意的方式使用這一協議，儘量提供準確的資訊，除非有充足理由，不使用Robots協議遮蔽某些特定搜尋引擎爬蟲。