SafeDNSBot

基本信息

SafeDNSBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

蜘蛛/爬虫名称: SafeDNSBot

类型: 其他

开发商: SafeDNS, Inc.

当前状态: 活动

用户代理

关于SafeDNSBot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: SafeDNS search bot/Nutch-1.9 (https://www.safedns.com/searchbot; support [at] safedns [dot] com)

首次出现: 2015-10-07 07:45:00

最后出现: 2016-02-15 02:47:43

遵循robots.txt: 未知

来源

IP地址(49)	服务器名称	所属国家
167.71.0.109	167.71.0.109	NL
206.189.13.53	206.189.13.53	NL
68.183.11.48	?	NL
167.99.36.43	?	NL
206.189.4.227	?	NL

用户代理字符串: SafeDNS search bot/Nutch-1.9 (https://www.safedns.com/searchbot; support [at] safedns [dot] com)

首次出现: 2015-10-07 07:45:00

最后出现: 2016-02-15 02:47:43

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
128.199.33.116	128.199.33.116	NL
178.62.251.210	onewa11y-06.com	NL
178.62.242.233	178.62.242.233	NL
178.62.212.218	telma.rec.parsys.com	NL
188.166.16.235	188.166.16.235	NL

访问控制

了解如何控制SafeDNSBot访问权限，避免SafeDNSBot抓取行为不当。

是否拦截SafeDNSBot？

对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的，也可能是坏的，这取决于它是什么。所以说，这需要站长进一步分析判断这些尚不明确的爬虫行为，再作最终决定。但，根据以往的经验，未声明行为目的及未命名的蜘蛛爬虫，通常都有不可告人的秘密，我们理应对其行为进行控制，比如拦截。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SafeDNSBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SafeDNSBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

safedns.com关于SafeDNS Categorization Crawler收集网页的目标和政策简要介绍如下。如果您有任何疑问，请发电子邮件给safedns.com。

1. 目标

SafeDNS收集网页的主要原因是为了正确分类互联网资源，并为SafeDNS开发新的技术和产品。

2. 政策

SafeDNS的爬虫总是尊重常见的爬行规范，如以下几点：SafeDNS的爬虫以一定间隔的方式逐页访问每个网站。目前，我们只从每个服务器上获取有限数量的页面。尽管我们将抓取过程与检测主机别名的过程交织在一起，但有可能一个别名的服务器可能被同时以不同的主机名访问。它总是读取robots.txt文件，而且从不抓取受限网页。你可以在你网站顶部的robots.txt文件中向爬虫指定指令。例如，以下指令禁止我们的爬虫从您的网站检索任何内容。