360spider

是否拦截360spider？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 360spider 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: 360spider
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

为了实现对网站更好的收录，建议各位站长详细查看360搜索对Robots协议的支持和扩展说明，以实现对网站内容更高效、智能的收录。

360搜索对Robots协议的支持

360搜索支持Robots协议的主要命令，以下为具体说明：

1. user-agent

360搜索各产品的爬虫user-agent为：

• 网页搜索：360Spider
• 图片搜索：360Spider-Image
• 视频搜索：360Spider-Video

2. Allow

站长可通过Allow命令指定建议收录的文件、目录 。

3. Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。

360搜索对Robots协议的扩展

360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。

360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例：

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的：

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

对Robots协议的善意使用

Robots协议是一个搜索引擎和网站之间的善意协议，360搜索鼓励站长们也以善意的方式使用这一协议，尽量提供准确的信息，除非有充足理由，不使用Robots协议屏蔽某些特定搜索引擎爬虫。