OpenindexSpider
OpenindexSpider蜘蛛/爬蟲屬於爬蟲型別，由Openindex B.V.開發執行。您可以繼續閱讀下方資訊，以深入瞭解OpenindexSpider基本資訊，使用者代理和訪問控制等。
基本資訊
OpenindexSpider的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- OpenindexSpider
- 型別
- 爬蟲
- 開發商
-
Openindex B.V.
- 當前狀態
-
活動
使用者代理
關於OpenindexSpider蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
OpenindexSpider
-
OpenindexSpider
-
OpenindexSpider
-
OpenindexSpider
-
OpenindexDeepSpider
-
OpenindexShalooowSpider
-
OpenindexShalooowSpider
-
OpenindexDeepSpider
-
OpenindexDeepSpider
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexSpider; +http://www.openindex.io/en/webmasters/spider.html)
- 首次出現
- 2012-07-14 02:51:11
- 最後出現
- 2013-07-04 16:30:14
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html)
- 首次出現
- 2012-06-26 07:44:00
- 最後出現
- 2012-07-13 12:46:56
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(9) |
伺服器名稱 |
所屬國家 |
| 40.124.172.14 |
40.124.172.14 |
US |
| 40.124.168.187 |
40.124.168.187 |
US |
| 52.149.238.58 |
52.149.238.58 |
US |
| 89.188.14.235 |
89.188.14.235 |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html)
- 首次出現
- 2012-06-26 07:44:00
- 最後出現
- 2012-07-13 12:46:56
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexDeepSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html; systemsATopenindexDOTio)
- 首次出現
- 2012-02-15 22:06:29
- 最後出現
- 2012-03-02 17:13:50
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexShallowSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html; systemsATopenindexDOTio)
- 首次出現
- 2012-02-18 18:43:46
- 最後出現
- 2012-02-29 11:49:22
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexShallowSpider/Nutch-1.5-dev; +http://www.openindex.io/en/webmasters/spider.html; systemsATopenindexDOTio)
- 首次出現
- 2012-02-18 18:43:46
- 最後出現
- 2012-02-29 11:49:22
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexDeepSpider/Nutch-1.5-dev; +http://openindex.io/spider.html; systemsATopenindexDOTio)
- 首次出現
- 2012-01-11 15:32:00
- 最後出現
- 2012-02-14 11:15:45
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
- 使用者代理字串
- Mozilla/5.0 (compatible; OpenindexDeepSpider/Nutch-1.5-dev; +http://openindex.io/spider.html; systemsATopenindexDOTio)
- 首次出現
- 2012-01-11 15:32:00
- 最後出現
- 2012-02-14 11:15:45
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(5) |
伺服器名稱 |
所屬國家 |
| 141.105.120.150 |
vps2056.directvps.nl |
NL |
| 141.105.120.151 |
vps2057.directvps.nl |
NL |
| 141.105.120.152 |
vps2058.directvps.nl |
NL |
| 141.105.120.153 |
vps2059.directvps.nl |
NL |
| 141.105.120.154 |
vps2060.directvps.nl |
NL |
訪問控制
瞭解如何控制OpenindexSpider訪問許可權，避免OpenindexSpider抓取行為不當。
是否攔截OpenindexSpider？
可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 OpenindexSpider 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: OpenindexSpider
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
