SafeDNSBot

是否拦截SafeDNSBot？

对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的，也可能是坏的，这取决于它是什么。所以说，这需要站长进一步分析判断这些尚不明确的爬虫行为，再作最终决定。 但，根据以往的经验，未声明行为目的及未命名的蜘蛛爬虫，通常都有不可告人的秘密，我们理应对其行为进行控制，比如拦截。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SafeDNSBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SafeDNSBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

safedns.com关于SafeDNS Categorization Crawler收集网页的目标和政策简要介绍如下。如果您有任何疑问，请发电子邮件给safedns.com。

1. 目标

SafeDNS收集网页的主要原因是为了正确分类互联网资源，并为SafeDNS开发新的技术和产品。

2. 政策

SafeDNS的爬虫总是尊重常见的爬行规范，如以下几点：SafeDNS的爬虫以一定间隔的方式逐页访问每个网站。目前，我们只从每个服务器上获取有限数量的页面。尽管我们将抓取过程与检测主机别名的过程交织在一起，但有可能一个别名的服务器可能被同时以不同的主机名访问。它总是读取robots.txt文件，而且从不抓取受限网页。你可以在你网站顶部的robots.txt文件中向爬虫指定指令。例如，以下指令禁止我们的爬虫从您的网站检索任何内容。

User-agent: SafeDNSBot
Disallow: /

SafeDNS对网页的管理非常谨慎。在SafeDNS的数据库中注册收集的网页。SafeDNS管理对数据库的访问，防止未经授权的访问。

3. 联系

如有任何疑问、意见或要求，请发电子邮件给SafeDNS，noc@safedns.com。请在邮件中说明您网站的主机名称和IP地址。