spbot
spbot蜘蛛/爬蟲屬於營銷型別,由Axandra GmbH開發執行。您可以繼續閱讀下方資訊,以深入瞭解spbot基本資訊,使用者代理和訪問控制等。
基本資訊
spbot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- spbot
- 型別
- 營銷
- 開發商
-
Axandra GmbH
- 當前狀態
-
無效
使用者代理
關於spbot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
spbot/5.0.3
-
spbot/5.0.3
-
spbot/5.0.3
-
spbot/5.0.2
-
spbot/5.0.1
-
spbot/5.0
-
spbot/4.4.2
-
spbot/4.4.1
-
spbot/4.4.0
-
spbot/4.3.0
-
spbot/4.2.0
-
spbot/4.1.0
-
spbot/4.0.9
-
spbot/4.0.8
-
spbot/4.0.7
-
spbot/4.0.7
-
spbot/4.0.6
-
spbot/3.1
-
spbot/4.0.5
-
spbot/4.0.4
-
spbot/4.0.3
-
spbot/4.0.2
-
spbot/4.0.1
-
spbot/4.0
-
spbot/4.0b
-
spbot/4.0a
-
spbot/3.0
-
spbot/2.1
-
spbot/2.0.4
-
spbot/2.0.3
-
spbot/2.0.2
-
spbot/2.0.1
-
spbot/2.0
-
spbot/1.2
-
spbot/1.1
-
spbot/1.0
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/5.0.3; http://OpenLinkProfiler.org/bot )
- 首次出現
- 2018-03-17 08:15:51
- 最後出現
- 2018-09-14 13:27:17
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(18) |
伺服器名稱 |
所屬國家 |
| 165.227.210.21 |
? |
US |
| 159.89.45.235 |
? |
US |
| 159.203.111.225 |
? |
US |
| 165.227.215.27 |
? |
US |
| 165.227.185.135 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/5.0.3; http://OpenLinkProfiler.org/bot )
- 首次出現
- 2018-03-17 08:15:51
- 最後出現
- 2018-09-14 13:27:17
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(9) |
伺服器名稱 |
所屬國家 |
| 104.236.250.31 |
? |
US |
| 104.131.4.4 |
? |
US |
| 159.203.116.123 |
? |
US |
| 165.227.177.137 |
? |
US |
| 159.89.41.223 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/5.0.2; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2016-05-23 10:30:00
- 最後出現
- 2016-09-22 14:56:35
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 45.55.170.44 |
? |
US |
| 159.203.86.216 |
? |
US |
| 104.131.215.64 |
? |
US |
| 104.236.252.101 |
? |
US |
| 104.236.114.50 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/5.0.1; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2016-04-05 07:58:00
- 最後出現
- 2016-05-21 16:00:45
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 159.203.82.47 |
? |
US |
| 159.203.91.208 |
? |
US |
| 107.170.39.248 |
? |
US |
| 45.55.147.118 |
? |
US |
| 162.243.67.92 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/5.0; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2016-02-12 10:56:00
- 最後出現
- 2016-04-03 10:11:08
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 107.170.37.19 |
? |
US |
| 107.170.180.111 |
? |
US |
| 162.243.1.53 |
? |
US |
| 107.170.74.252 |
? |
US |
| 159.203.87.96 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.4.2; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-12-13 10:05:00
- 最後出現
- 2016-02-09 02:27:20
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 107.170.50.207 |
107.170.50.207 |
US |
| 107.170.37.19 |
107.170.37.19 |
US |
| 162.243.84.55 |
162.243.84.55 |
US |
| 162.243.101.219 |
162.243.101.219 |
US |
| 104.236.123.140 |
104.236.123.140 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.4.1; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-12-10 03:30:00
- 最後出現
- 2014-12-13 02:04:59
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(8) |
伺服器名稱 |
所屬國家 |
| 107.170.42.31 |
107.170.42.31 |
US |
| 162.243.192.45 |
162.243.192.45 |
US |
| 162.243.27.245 |
dezinov.com |
US |
| 162.243.39.123 |
162.243.39.123 |
US |
| 162.243.80.87 |
162.243.80.87 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.4.0; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-11-15 08:00:00
- 最後出現
- 2014-12-08 17:36:09
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(17) |
伺服器名稱 |
所屬國家 |
| 107.170.162.226 |
? |
US |
| 162.243.215.233 |
162.243.215.233 |
US |
| 162.243.192.225 |
cedarstone.org |
US |
| 162.243.37.196 |
162.243.37.196 |
US |
| 107.170.42.29 |
107.170.42.29 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.3.0; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-10-06 08:00:00
- 最後出現
- 2014-11-15 22:41:56
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(17) |
伺服器名稱 |
所屬國家 |
| 162.243.192.244 |
162.243.192.244 |
US |
| 162.243.250.109 |
? |
US |
| 107.170.139.134 |
107.170.139.134 |
US |
| 107.170.115.31 |
107.170.115.31 |
US |
| 162.243.215.90 |
162.243.215.90 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.2.0; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-09-14 13:00:00
- 最後出現
- 2014-10-06 16:30:54
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(17) |
伺服器名稱 |
所屬國家 |
| 162.243.203.194 |
do004.as42x.net |
US |
| 162.243.192.244 |
162.243.192.244 |
US |
| 162.243.193.98 |
162.243.193.98 |
US |
| 104.131.208.42 |
104.131.208.42 |
US |
| 107.170.42.29 |
107.170.42.29 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.1.0; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-04-28 08:55:00
- 最後出現
- 2014-09-15 15:01:42
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 162.243.109.79 |
162.243.109.79 |
US |
| 107.170.78.78 |
? |
US |
| 162.243.192.222 |
162.243.192.222 |
US |
| 107.170.42.13 |
? |
US |
| 162.243.203.197 |
162.243.203.197 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.9; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-03-13 07:45:00
- 最後出現
- 2014-04-24 11:20:07
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(13) |
伺服器名稱 |
所屬國家 |
| 107.170.42.17 |
107.170.42.17 |
US |
| 162.243.232.51 |
? |
US |
| 162.243.198.188 |
? |
US |
| 107.170.21.131 |
107.170.21.131 |
US |
| 107.170.42.14 |
107.170.42.14 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.8; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-03-10 15:30:00
- 最後出現
- 2014-03-10 15:12:22
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 162.243.114.55 |
162.243.114.55 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.7; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-02-05 15:45:00
- 最後出現
- 2014-03-08 20:25:15
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(12) |
伺服器名稱 |
所屬國家 |
| 2a01:4f8:212:2e68::2 |
2a01:4f8:212:2e68::2 |
DE |
| 192.99.19.138 |
ns514818.ip-192-99-19.net |
CA |
| 162.243.1.45 |
? |
US |
| 107.170.42.32 |
107.170.42.32 |
US |
| 162.243.32.177 |
codeseo.io |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.7; +http://OpenLinkProfiler.org/bot )
- 首次出現
- 2014-02-05 15:45:00
- 最後出現
- 2014-03-08 20:25:15
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(10) |
伺服器名稱 |
所屬國家 |
| 162.243.1.45 |
? |
US |
| 107.170.42.32 |
107.170.42.32 |
US |
| 162.243.32.177 |
codeseo.io |
US |
| 162.243.242.121 |
162.243.242.121 |
US |
| 162.243.109.79 |
162.243.109.79 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.6; +http://www.seoprofiler.com/bot )
- 首次出現
- 2014-01-11 08:00:00
- 最後出現
- 2014-02-05 09:06:01
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(13) |
伺服器名稱 |
所屬國家 |
| 162.243.74.249 |
? |
US |
| 162.243.100.40 |
162.243.100.40 |
US |
| 162.243.193.56 |
staging.sdrtrading.com |
US |
| 162.243.79.177 |
162.243.79.177 |
US |
| 162.243.125.110 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/3.1; +http://www.seoprofiler.com/bot )
- 首次出現
- 2012-10-15 19:10:10
- 最後出現
- 2014-01-29 14:48:47
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(13) |
伺服器名稱 |
所屬國家 |
| 23.22.109.223 |
ec2-23-22-109-223.compute-1.amazonaws.com |
US |
| 23.22.167.161 |
ec2-23-22-167-161.compute-1.amazonaws.com |
US |
| 23.22.174.18 |
ec2-23-22-174-18.compute-1.amazonaws.com |
US |
| 50.16.170.99 |
ec2-50-16-170-99.compute-1.amazonaws.com |
US |
| 50.16.94.134 |
ec2-50-16-94-134.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.5; +http://www.seoprofiler.com/bot )
- 首次出現
- 2014-01-01 23:20:00
- 最後出現
- 2014-01-08 17:30:50
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(14) |
伺服器名稱 |
所屬國家 |
| 162.243.36.219 |
162.243.36.219 |
US |
| 162.243.36.10 |
? |
US |
| 162.243.193.170 |
162.243.193.170 |
US |
| 162.243.110.92 |
162.243.110.92 |
US |
| 162.243.85.245 |
162.243.85.245 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.4; +http://www.seoprofiler.com/bot )
- 首次出現
- 2013-12-03 09:35:00
- 最後出現
- 2013-12-31 00:17:54
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(13) |
伺服器名稱 |
所屬國家 |
| 162.243.110.69 |
162.243.110.69 |
US |
| 162.243.106.179 |
? |
US |
| 162.243.193.152 |
agmaillogin.com |
US |
| 162.243.193.67 |
? |
US |
| 162.243.80.160 |
162.243.80.160 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.3; +http://www.seoprofiler.com/bot )
- 首次出現
- 2013-11-28 09:10:00
- 最後出現
- 2013-12-02 16:10:40
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(11) |
伺服器名稱 |
所屬國家 |
| 162.243.85.172 |
gw3cpp9prncf.mac-msp.com |
US |
| 198.199.87.38 |
gitlab.cab408.com |
US |
| 162.243.88.67 |
162.243.88.67 |
US |
| 162.243.43.34 |
meersi.ch |
US |
| 162.243.85.117 |
dvws02.do.distinctive-demographics.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.2; +http://www.seoprofiler.com/bot )
- 首次出現
- 2013-11-19 13:10:00
- 最後出現
- 2013-11-27 15:22:17
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(14) |
伺服器名稱 |
所屬國家 |
| 162.243.110.94 |
? |
US |
| 162.243.53.222 |
162.243.53.222 |
US |
| 162.243.87.114 |
162.243.87.114 |
US |
| 162.243.36.214 |
beta.capraindustries.xyz |
US |
| 162.243.89.84 |
162.243.89.84 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0.1; +http://www.seoprofiler.com/bot )
- 首次出現
- 2013-11-11 08:50:00
- 最後出現
- 2013-11-17 13:29:55
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(11) |
伺服器名稱 |
所屬國家 |
| 162.243.92.11 |
patrickkiss.com |
US |
| 162.243.87.119 |
? |
US |
| 162.243.90.17 |
162.243.90.17 |
US |
| 162.243.92.44 |
162.243.92.44 |
US |
| 192.241.131.135 |
192.241.131.135 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0; +http://www.seoprofiler.com/bot )
- 首次出現
- 2013-10-31 11:50:00
- 最後出現
- 2013-11-05 12:55:08
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(9) |
伺服器名稱 |
所屬國家 |
| 198.199.73.124 |
198.199.73.124 |
US |
| 198.199.75.158 |
ipeakbiz.com |
US |
| 198.199.79.44 |
198.199.79.44 |
US |
| 198.199.80.18 |
198.199.80.18 |
US |
| 198.211.109.84 |
198.211.109.84 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0b; +http://www.seoprofiler.com/bot )
- 首次出現
- 2013-10-05 16:10:00
- 最後出現
- 2013-10-08 17:24:30
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 192.81.210.115 |
castineo.com |
US |
| 198.199.88.200 |
198.199.88.200 |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/4.0a; +http://www.seoprofiler.com/bot )
- 首次出現
- 2013-08-30 08:17:00
- 最後出現
- 2013-09-26 04:14:18
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 192.241.145.158 |
192.241.145.158 |
US |
| 91.67.61.45 |
91-67-61-45-dynip.superkabel.de |
DE |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/3.0; +http://www.seoprofiler.com/bot )
- 首次出現
- 2010-12-30 16:32:54
- 最後出現
- 2012-10-15 15:13:56
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(13) |
伺服器名稱 |
所屬國家 |
| 50.19.77.233 |
ec2-50-19-77-233.compute-1.amazonaws.com |
US |
| 174.129.130.230 |
ec2-174-129-130-230.compute-1.amazonaws.com |
US |
| 67.202.14.27 |
ec2-67-202-14-27.compute-1.amazonaws.com |
US |
| 174.129.174.161 |
ec2-174-129-174-161.compute-1.amazonaws.com |
US |
| 174.129.84.42 |
ec2-174-129-84-42.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/2.1; +http://www.seoprofiler.com/bot )
- 首次出現
- 2010-10-22 08:31:00
- 最後出現
- 2010-12-29 08:09:16
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(18) |
伺服器名稱 |
所屬國家 |
| 75.101.186.119 |
ec2-75-101-186-119.compute-1.amazonaws.com |
US |
| 174.129.174.161 |
ec2-174-129-174-161.compute-1.amazonaws.com |
US |
| 184.73.117.224 |
ec2-184-73-117-224.compute-1.amazonaws.com |
US |
| 204.236.244.50 |
ec2-204-236-244-50.compute-1.amazonaws.com |
US |
| 75.101.187.55 |
ec2-75-101-187-55.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/2.0.4; +http://www.seoprofiler.com/bot )
- 首次出現
- 2010-06-04 21:15:51
- 最後出現
- 2010-09-20 18:46:04
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(20) |
伺服器名稱 |
所屬國家 |
| 184.73.117.224 |
ec2-184-73-117-224.compute-1.amazonaws.com |
US |
| 184.73.9.35 |
ec2-184-73-9-35.compute-1.amazonaws.com |
US |
| 75.101.234.2 |
ec2-75-101-234-2.compute-1.amazonaws.com |
US |
| 174.129.174.161 |
ec2-174-129-174-161.compute-1.amazonaws.com |
US |
| 67.202.41.114 |
ec2-67-202-41-114.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/2.0.3; +http://www.seoprofiler.com/bot/ )
- 首次出現
- 2010-05-27 20:55:00
- 最後出現
- 2010-06-01 16:47:55
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(7) |
伺服器名稱 |
所屬國家 |
| 174.129.96.12 |
ec2-174-129-96-12.compute-1.amazonaws.com |
US |
| 184.73.38.177 |
ec2-184-73-38-177.compute-1.amazonaws.com |
US |
| 184.73.4.37 |
ec2-184-73-4-37.compute-1.amazonaws.com |
US |
| 184.73.63.115 |
ec2-184-73-63-115.compute-1.amazonaws.com |
US |
| 184.73.75.129 |
ec2-184-73-75-129.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/2.0.2; +http://www.seoprofiler.com/bot/ )
- 首次出現
- 2010-03-17 08:20:00
- 最後出現
- 2010-05-25 00:09:18
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(20) |
伺服器名稱 |
所屬國家 |
| 72.44.53.29 |
ec2-72-44-53-29.compute-1.amazonaws.com |
US |
| 174.129.84.116 |
ec2-174-129-84-116.compute-1.amazonaws.com |
US |
| 174.129.169.188 |
ec2-174-129-169-188.compute-1.amazonaws.com |
US |
| 184.73.72.56 |
ec2-184-73-72-56.compute-1.amazonaws.com |
US |
| 184.73.79.65 |
ec2-184-73-79-65.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/2.0.1; +http://www.seoprofiler.com/bot/ )
- 首次出現
- 2010-03-02 19:43:57
- 最後出現
- 2010-03-16 23:19:45
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(20) |
伺服器名稱 |
所屬國家 |
| 174.129.64.213 |
ec2-174-129-64-213.compute-1.amazonaws.com |
US |
| 75.101.187.208 |
ec2-75-101-187-208.compute-1.amazonaws.com |
US |
| 174.129.86.87 |
ec2-174-129-86-87.compute-1.amazonaws.com |
US |
| 204.236.241.141 |
ec2-204-236-241-141.compute-1.amazonaws.com |
US |
| 174.129.96.51 |
ec2-174-129-96-51.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/2.0; +http://www.seoprofiler.com/bot/ )
- 首次出現
- 2010-02-19 20:07:32
- 最後出現
- 2010-03-02 14:56:53
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(20) |
伺服器名稱 |
所屬國家 |
| 174.129.65.79 |
ec2-174-129-65-79.compute-1.amazonaws.com |
US |
| 75.101.172.6 |
ec2-75-101-172-6.compute-1.amazonaws.com |
US |
| 75.101.241.159 |
ec2-75-101-241-159.compute-1.amazonaws.com |
US |
| 174.129.93.177 |
ec2-174-129-93-177.compute-1.amazonaws.com |
US |
| 204.236.242.141 |
ec2-204-236-242-141.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/1.2; +http://www.seoprofiler.com/bot/ )
- 首次出現
- 2010-02-11 21:50:31
- 最後出現
- 2010-02-15 17:42:14
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(20) |
伺服器名稱 |
所屬國家 |
| 67.202.0.31 |
ec2-67-202-0-31.compute-1.amazonaws.com |
US |
| 72.44.57.92 |
ec2-72-44-57-92.compute-1.amazonaws.com |
US |
| 72.44.53.29 |
ec2-72-44-53-29.compute-1.amazonaws.com |
US |
| 67.202.11.26 |
ec2-67-202-11-26.compute-1.amazonaws.com |
US |
| 174.129.107.185 |
ec2-174-129-107-185.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/1.1; +http://www.seoprofiler.com/bot/ )
- 首次出現
- 2009-05-11 05:50:00
- 最後出現
- 2010-02-11 15:57:02
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(13) |
伺服器名稱 |
所屬國家 |
| 174.129.72.66 |
ec2-174-129-72-66.compute-1.amazonaws.com |
US |
| 204.236.197.86 |
ec2-204-236-197-86.compute-1.amazonaws.com |
US |
| 174.129.112.194 |
ec2-174-129-112-194.compute-1.amazonaws.com |
US |
| 75.101.218.170 |
ec2-75-101-218-170.compute-1.amazonaws.com |
US |
| 75.101.173.154 |
ec2-75-101-173-154.compute-1.amazonaws.com |
US |
- 使用者代理字串
- Mozilla/5.0 (compatible; spbot/1.0; +http://www.seoprofiler.com/bot/ )
- 首次出現
- 2010-02-04 21:43:56
- 最後出現
- 2010-02-10 14:57:23
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(20) |
伺服器名稱 |
所屬國家 |
| 174.129.72.66 |
ec2-174-129-72-66.compute-1.amazonaws.com |
US |
| 174.129.163.50 |
ec2-174-129-163-50.compute-1.amazonaws.com |
US |
| 75.101.214.118 |
ec2-75-101-214-118.compute-1.amazonaws.com |
US |
| 67.202.56.227 |
ec2-67-202-56-227.compute-1.amazonaws.com |
US |
| 75.101.173.154 |
ec2-75-101-173-154.compute-1.amazonaws.com |
US |
訪問控制
瞭解如何控制spbot訪問許可權,避免spbot抓取行為不當。
是否攔截spbot?
一般不需要攔截,尤其是如果你自己也受益於搜尋引擎優化服務。不過,如果你擔心伺服器資源佔用等問題,且您都不使用這些工具,當然也可以選擇攔截它們。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 spbot 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛,以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: spbot
Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。