OpenindexSpider
OpenindexSpider蜘蛛/爬虫属于爬虫类型，由Openindex B.V.开发运行。您可以继续阅读下方信息，以深入了解OpenindexSpider基本信息，用户代理和访问控制等。
基本信息
OpenindexSpider的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
- 蜘蛛/爬虫名称
- OpenindexSpider
- 类型
- 爬虫
- 开发商
-
Openindex B.V.
- 当前状态
-
活动
用户代理
关于OpenindexSpider蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
OpenindexSpider
-
OpenindexSpider
-
OpenindexSpider
-
OpenindexSpider
-
OpenindexDeepSpider
-
OpenindexShalooowSpider
-
OpenindexShalooowSpider
-
OpenindexDeepSpider
-
OpenindexDeepSpider
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexSpider; +http://www.openindex.io/en/webmasters/spider.html)
- 首次出现
- 2012-07-14 02:51:11
- 最后出现
- 2013-07-04 16:30:14
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html)
- 首次出现
- 2012-06-26 07:44:00
- 最后出现
- 2012-07-13 12:46:56
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(9) |
服务器名称 |
所属国家 |
| 40.124.172.14 |
40.124.172.14 |
US |
| 40.124.168.187 |
40.124.168.187 |
US |
| 52.149.238.58 |
52.149.238.58 |
US |
| 89.188.14.235 |
89.188.14.235 |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html)
- 首次出现
- 2012-06-26 07:44:00
- 最后出现
- 2012-07-13 12:46:56
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexDeepSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html; systemsATopenindexDOTio)
- 首次出现
- 2012-02-15 22:06:29
- 最后出现
- 2012-03-02 17:13:50
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexShallowSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html; systemsATopenindexDOTio)
- 首次出现
- 2012-02-18 18:43:46
- 最后出现
- 2012-02-29 11:49:22
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexShallowSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html; systemsATopenindexDOTio)
- 首次出现
- 2012-02-18 18:43:46
- 最后出现
- 2012-02-29 11:49:22
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexDeepSpider/Nutch-1.5-dev; +http://openindex.io/spider.html; systemsATopenindexDOTio)
- 首次出现
- 2012-01-11 15:32:00
- 最后出现
- 2012-02-14 11:15:45
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
- 用户代理字符串
- Mozilla/5.0 (compatible; OpenindexDeepSpider/Nutch-1.5-dev; +http://openindex.io/spider.html; systemsATopenindexDOTio)
- 首次出现
- 2012-01-11 15:32:00
- 最后出现
- 2012-02-14 11:15:45
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(5) |
服务器名称 |
所属国家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
访问控制
了解如何控制OpenindexSpider访问权限，避免OpenindexSpider抓取行为不当。
是否拦截OpenindexSpider？
可以考虑拦截。。爬虫通常会下载公开的互联网内容，这些内容默认情况下可以免费访问。不过，如果你不希望你的内容被用于未经授权的目的，你应该拦截它们。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 OpenindexSpider 或限制其访问权限。我们建议安装 Spider Analyser
插件，以检查它是否真正遵循这些规则。
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: OpenindexSpider
Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
