spbot

spbot蜘蛛/爬虫属于营销类型,由Axandra GmbH开发运行。您可以继续阅读下方信息,以深入了解spbot基本信息,用户代理和访问控制等。

基本信息

spbot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
spbot
类型
营销
开发商
Axandra GmbH
当前状态
无效

用户代理

关于spbot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
spbot/5.0.3
用户代理字符串
Mozilla/5.0 (compatible; spbot/5.0.3; http://OpenLinkProfiler.org/bot )
首次出现
2018-03-17 08:15:51
最后出现
2018-09-14 13:27:17
遵循robots.txt
未知
来源
IP地址(18) 服务器名称 所属国家
165.227.210.21 ? US
159.89.45.235 ? US
159.203.111.225 ? US
165.227.215.27 ? US
165.227.185.135 ? US
用户代理字符串
Mozilla/5.0 (compatible; spbot/5.0.3; http://OpenLinkProfiler.org/bot )
首次出现
2018-03-17 08:15:51
最后出现
2018-09-14 13:27:17
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
104.236.250.31 ? US
104.131.4.4 ? US
159.203.116.123 ? US
165.227.177.137 ? US
159.89.41.223 ? US
用户代理字符串
Mozilla/5.0 (compatible; spbot/5.0.2; +http://OpenLinkProfiler.org/bot )
首次出现
2016-05-23 10:30:00
最后出现
2016-09-22 14:56:35
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
45.55.170.44 ? US
159.203.86.216 ? US
104.131.215.64 ? US
104.236.252.101 ? US
104.236.114.50 ? US
用户代理字符串
Mozilla/5.0 (compatible; spbot/5.0.1; +http://OpenLinkProfiler.org/bot )
首次出现
2016-04-05 07:58:00
最后出现
2016-05-21 16:00:45
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
159.203.82.47 ? US
159.203.91.208 ? US
107.170.39.248 ? US
45.55.147.118 ? US
162.243.67.92 ? US
用户代理字符串
Mozilla/5.0 (compatible; spbot/5.0; +http://OpenLinkProfiler.org/bot )
首次出现
2016-02-12 10:56:00
最后出现
2016-04-03 10:11:08
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
107.170.37.19 ? US
107.170.180.111 ? US
162.243.1.53 ? US
107.170.74.252 ? US
159.203.87.96 ? US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.4.2; +http://OpenLinkProfiler.org/bot )
首次出现
2014-12-13 10:05:00
最后出现
2016-02-09 02:27:20
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
107.170.50.207 107.170.50.207 US
107.170.37.19 107.170.37.19 US
162.243.84.55 162.243.84.55 US
162.243.101.219 162.243.101.219 US
104.236.123.140 104.236.123.140 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.4.1; +http://OpenLinkProfiler.org/bot )
首次出现
2014-12-10 03:30:00
最后出现
2014-12-13 02:04:59
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
107.170.42.31 107.170.42.31 US
162.243.192.45 162.243.192.45 US
162.243.27.245 dezinov.com US
162.243.39.123 162.243.39.123 US
162.243.80.87 162.243.80.87 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.4.0; +http://OpenLinkProfiler.org/bot )
首次出现
2014-11-15 08:00:00
最后出现
2014-12-08 17:36:09
遵循robots.txt
未知
来源
IP地址(17) 服务器名称 所属国家
107.170.162.226 ? US
162.243.215.233 162.243.215.233 US
162.243.192.225 cedarstone.org US
162.243.37.196 162.243.37.196 US
107.170.42.29 107.170.42.29 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.3.0; +http://OpenLinkProfiler.org/bot )
首次出现
2014-10-06 08:00:00
最后出现
2014-11-15 22:41:56
遵循robots.txt
未知
来源
IP地址(17) 服务器名称 所属国家
162.243.192.244 162.243.192.244 US
162.243.250.109 ? US
107.170.139.134 107.170.139.134 US
107.170.115.31 107.170.115.31 US
162.243.215.90 162.243.215.90 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.2.0; +http://OpenLinkProfiler.org/bot )
首次出现
2014-09-14 13:00:00
最后出现
2014-10-06 16:30:54
遵循robots.txt
未知
来源
IP地址(17) 服务器名称 所属国家
162.243.203.194 do004.as42x.net US
162.243.192.244 162.243.192.244 US
162.243.193.98 162.243.193.98 US
104.131.208.42 104.131.208.42 US
107.170.42.29 107.170.42.29 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.1.0; +http://OpenLinkProfiler.org/bot )
首次出现
2014-04-28 08:55:00
最后出现
2014-09-15 15:01:42
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
162.243.109.79 162.243.109.79 US
107.170.78.78 ? US
162.243.192.222 162.243.192.222 US
107.170.42.13 ? US
162.243.203.197 162.243.203.197 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.9; +http://OpenLinkProfiler.org/bot )
首次出现
2014-03-13 07:45:00
最后出现
2014-04-24 11:20:07
遵循robots.txt
未知
来源
IP地址(13) 服务器名称 所属国家
107.170.42.17 107.170.42.17 US
162.243.232.51 ? US
162.243.198.188 ? US
107.170.21.131 107.170.21.131 US
107.170.42.14 107.170.42.14 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.8; +http://OpenLinkProfiler.org/bot )
首次出现
2014-03-10 15:30:00
最后出现
2014-03-10 15:12:22
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
162.243.114.55 162.243.114.55 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.7; +http://OpenLinkProfiler.org/bot )
首次出现
2014-02-05 15:45:00
最后出现
2014-03-08 20:25:15
遵循robots.txt
未知
来源
IP地址(12) 服务器名称 所属国家
2a01:4f8:212:2e68::2 2a01:4f8:212:2e68::2 DE
192.99.19.138 ns514818.ip-192-99-19.net CA
162.243.1.45 ? US
107.170.42.32 107.170.42.32 US
162.243.32.177 codeseo.io US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.7; +http://OpenLinkProfiler.org/bot )
首次出现
2014-02-05 15:45:00
最后出现
2014-03-08 20:25:15
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
162.243.1.45 ? US
107.170.42.32 107.170.42.32 US
162.243.32.177 codeseo.io US
162.243.242.121 162.243.242.121 US
162.243.109.79 162.243.109.79 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.6; +http://www.seoprofiler.com/bot )
首次出现
2014-01-11 08:00:00
最后出现
2014-02-05 09:06:01
遵循robots.txt
未知
来源
IP地址(13) 服务器名称 所属国家
162.243.74.249 ? US
162.243.100.40 162.243.100.40 US
162.243.193.56 staging.sdrtrading.com US
162.243.79.177 162.243.79.177 US
162.243.125.110 ? US
用户代理字符串
Mozilla/5.0 (compatible; spbot/3.1; +http://www.seoprofiler.com/bot )
首次出现
2012-10-15 19:10:10
最后出现
2014-01-29 14:48:47
遵循robots.txt
未知
来源
IP地址(13) 服务器名称 所属国家
23.22.109.223 ec2-23-22-109-223.compute-1.amazonaws.com US
23.22.167.161 ec2-23-22-167-161.compute-1.amazonaws.com US
23.22.174.18 ec2-23-22-174-18.compute-1.amazonaws.com US
50.16.170.99 ec2-50-16-170-99.compute-1.amazonaws.com US
50.16.94.134 ec2-50-16-94-134.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.5; +http://www.seoprofiler.com/bot )
首次出现
2014-01-01 23:20:00
最后出现
2014-01-08 17:30:50
遵循robots.txt
未知
来源
IP地址(14) 服务器名称 所属国家
162.243.36.219 162.243.36.219 US
162.243.36.10 ? US
162.243.193.170 162.243.193.170 US
162.243.110.92 162.243.110.92 US
162.243.85.245 162.243.85.245 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.4; +http://www.seoprofiler.com/bot )
首次出现
2013-12-03 09:35:00
最后出现
2013-12-31 00:17:54
遵循robots.txt
未知
来源
IP地址(13) 服务器名称 所属国家
162.243.110.69 162.243.110.69 US
162.243.106.179 ? US
162.243.193.152 agmaillogin.com US
162.243.193.67 ? US
162.243.80.160 162.243.80.160 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.3; +http://www.seoprofiler.com/bot )
首次出现
2013-11-28 09:10:00
最后出现
2013-12-02 16:10:40
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
162.243.85.172 gw3cpp9prncf.mac-msp.com US
198.199.87.38 gitlab.cab408.com US
162.243.88.67 162.243.88.67 US
162.243.43.34 meersi.ch US
162.243.85.117 dvws02.do.distinctive-demographics.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.2; +http://www.seoprofiler.com/bot )
首次出现
2013-11-19 13:10:00
最后出现
2013-11-27 15:22:17
遵循robots.txt
未知
来源
IP地址(14) 服务器名称 所属国家
162.243.110.94 ? US
162.243.53.222 162.243.53.222 US
162.243.87.114 162.243.87.114 US
162.243.36.214 beta.capraindustries.xyz US
162.243.89.84 162.243.89.84 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0.1; +http://www.seoprofiler.com/bot )
首次出现
2013-11-11 08:50:00
最后出现
2013-11-17 13:29:55
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
162.243.92.11 patrickkiss.com US
162.243.87.119 ? US
162.243.90.17 162.243.90.17 US
162.243.92.44 162.243.92.44 US
192.241.131.135 192.241.131.135 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0; +http://www.seoprofiler.com/bot )
首次出现
2013-10-31 11:50:00
最后出现
2013-11-05 12:55:08
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
198.199.73.124 198.199.73.124 US
198.199.75.158 ipeakbiz.com US
198.199.79.44 198.199.79.44 US
198.199.80.18 198.199.80.18 US
198.211.109.84 198.211.109.84 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0b; +http://www.seoprofiler.com/bot )
首次出现
2013-10-05 16:10:00
最后出现
2013-10-08 17:24:30
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
192.81.210.115 castineo.com US
198.199.88.200 198.199.88.200 US
用户代理字符串
Mozilla/5.0 (compatible; spbot/4.0a; +http://www.seoprofiler.com/bot )
首次出现
2013-08-30 08:17:00
最后出现
2013-09-26 04:14:18
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
192.241.145.158 192.241.145.158 US
91.67.61.45 91-67-61-45-dynip.superkabel.de DE
用户代理字符串
Mozilla/5.0 (compatible; spbot/3.0; +http://www.seoprofiler.com/bot )
首次出现
2010-12-30 16:32:54
最后出现
2012-10-15 15:13:56
遵循robots.txt
未知
来源
IP地址(13) 服务器名称 所属国家
50.19.77.233 ec2-50-19-77-233.compute-1.amazonaws.com US
174.129.130.230 ec2-174-129-130-230.compute-1.amazonaws.com US
67.202.14.27 ec2-67-202-14-27.compute-1.amazonaws.com US
174.129.174.161 ec2-174-129-174-161.compute-1.amazonaws.com US
174.129.84.42 ec2-174-129-84-42.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/2.1; +http://www.seoprofiler.com/bot )
首次出现
2010-10-22 08:31:00
最后出现
2010-12-29 08:09:16
遵循robots.txt
未知
来源
IP地址(18) 服务器名称 所属国家
75.101.186.119 ec2-75-101-186-119.compute-1.amazonaws.com US
174.129.174.161 ec2-174-129-174-161.compute-1.amazonaws.com US
184.73.117.224 ec2-184-73-117-224.compute-1.amazonaws.com US
204.236.244.50 ec2-204-236-244-50.compute-1.amazonaws.com US
75.101.187.55 ec2-75-101-187-55.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/2.0.4; +http://www.seoprofiler.com/bot )
首次出现
2010-06-04 21:15:51
最后出现
2010-09-20 18:46:04
遵循robots.txt
未知
来源
IP地址(20) 服务器名称 所属国家
184.73.117.224 ec2-184-73-117-224.compute-1.amazonaws.com US
184.73.9.35 ec2-184-73-9-35.compute-1.amazonaws.com US
75.101.234.2 ec2-75-101-234-2.compute-1.amazonaws.com US
174.129.174.161 ec2-174-129-174-161.compute-1.amazonaws.com US
67.202.41.114 ec2-67-202-41-114.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/2.0.3; +http://www.seoprofiler.com/bot/ )
首次出现
2010-05-27 20:55:00
最后出现
2010-06-01 16:47:55
遵循robots.txt
未知
来源
IP地址(7) 服务器名称 所属国家
174.129.96.12 ec2-174-129-96-12.compute-1.amazonaws.com US
184.73.38.177 ec2-184-73-38-177.compute-1.amazonaws.com US
184.73.4.37 ec2-184-73-4-37.compute-1.amazonaws.com US
184.73.63.115 ec2-184-73-63-115.compute-1.amazonaws.com US
184.73.75.129 ec2-184-73-75-129.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/2.0.2; +http://www.seoprofiler.com/bot/ )
首次出现
2010-03-17 08:20:00
最后出现
2010-05-25 00:09:18
遵循robots.txt
未知
来源
IP地址(20) 服务器名称 所属国家
72.44.53.29 ec2-72-44-53-29.compute-1.amazonaws.com US
174.129.84.116 ec2-174-129-84-116.compute-1.amazonaws.com US
174.129.169.188 ec2-174-129-169-188.compute-1.amazonaws.com US
184.73.72.56 ec2-184-73-72-56.compute-1.amazonaws.com US
184.73.79.65 ec2-184-73-79-65.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/2.0.1; +http://www.seoprofiler.com/bot/ )
首次出现
2010-03-02 19:43:57
最后出现
2010-03-16 23:19:45
遵循robots.txt
未知
来源
IP地址(20) 服务器名称 所属国家
174.129.64.213 ec2-174-129-64-213.compute-1.amazonaws.com US
75.101.187.208 ec2-75-101-187-208.compute-1.amazonaws.com US
174.129.86.87 ec2-174-129-86-87.compute-1.amazonaws.com US
204.236.241.141 ec2-204-236-241-141.compute-1.amazonaws.com US
174.129.96.51 ec2-174-129-96-51.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/2.0; +http://www.seoprofiler.com/bot/ )
首次出现
2010-02-19 20:07:32
最后出现
2010-03-02 14:56:53
遵循robots.txt
未知
来源
IP地址(20) 服务器名称 所属国家
174.129.65.79 ec2-174-129-65-79.compute-1.amazonaws.com US
75.101.172.6 ec2-75-101-172-6.compute-1.amazonaws.com US
75.101.241.159 ec2-75-101-241-159.compute-1.amazonaws.com US
174.129.93.177 ec2-174-129-93-177.compute-1.amazonaws.com US
204.236.242.141 ec2-204-236-242-141.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/1.2; +http://www.seoprofiler.com/bot/ )
首次出现
2010-02-11 21:50:31
最后出现
2010-02-15 17:42:14
遵循robots.txt
未知
来源
IP地址(20) 服务器名称 所属国家
67.202.0.31 ec2-67-202-0-31.compute-1.amazonaws.com US
72.44.57.92 ec2-72-44-57-92.compute-1.amazonaws.com US
72.44.53.29 ec2-72-44-53-29.compute-1.amazonaws.com US
67.202.11.26 ec2-67-202-11-26.compute-1.amazonaws.com US
174.129.107.185 ec2-174-129-107-185.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/1.1; +http://www.seoprofiler.com/bot/ )
首次出现
2009-05-11 05:50:00
最后出现
2010-02-11 15:57:02
遵循robots.txt
未知
来源
IP地址(13) 服务器名称 所属国家
174.129.72.66 ec2-174-129-72-66.compute-1.amazonaws.com US
204.236.197.86 ec2-204-236-197-86.compute-1.amazonaws.com US
174.129.112.194 ec2-174-129-112-194.compute-1.amazonaws.com US
75.101.218.170 ec2-75-101-218-170.compute-1.amazonaws.com US
75.101.173.154 ec2-75-101-173-154.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; spbot/1.0; +http://www.seoprofiler.com/bot/ )
首次出现
2010-02-04 21:43:56
最后出现
2010-02-10 14:57:23
遵循robots.txt
未知
来源
IP地址(20) 服务器名称 所属国家
174.129.72.66 ec2-174-129-72-66.compute-1.amazonaws.com US
174.129.163.50 ec2-174-129-163-50.compute-1.amazonaws.com US
75.101.214.118 ec2-75-101-214-118.compute-1.amazonaws.com US
67.202.56.227 ec2-67-202-56-227.compute-1.amazonaws.com US
75.101.173.154 ec2-75-101-173-154.compute-1.amazonaws.com US

访问控制

了解如何控制spbot访问权限,避免spbot抓取行为不当。

是否拦截spbot?

一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 spbot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: spbot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
RidderBot
RidderBot蜘蛛/爬虫属于营销类型,由Ridder开发运行。您可以继续阅读下方信息,以深入了解RidderBot基本信息,用户代理和访问控制等。
Upsales bot
Upsales bot蜘蛛/爬虫属于营销类型,由Upsales Nordic AB开发运行。您可以继续阅读下方信息,以深入了解Upsales bot基本信息,用户代理和访问控制等。
HealRWorld
HealRWorld蜘蛛/爬虫属于营销类型,由HealRWorld LLC.开发运行。您可以继续阅读下方信息,以深入了解HealRWorld基本信息,用户代理和访问控制等。
Scope3
Scope3蜘蛛/爬虫属于营销类型,由Scope3, PBC.开发运行。您可以继续阅读下方信息,以深入了解Scope3基本信息,用户代理和访问控制等。
MercuryLeads/1.0
MercuryLeads/1.0蜘蛛/爬虫属于营销类型,由Mercury Leads开发运行。您可以继续阅读下方信息,以深入了解MercuryLeads/1.0基本信息,用户代理和访问控制等。
mediaboardbot
mediaboardbot蜘蛛/爬虫属于营销类型,由Mediaboard s.r.o.开发运行。您可以继续阅读下方信息,以深入了解mediaboardbot基本信息,用户代理和访问控制等。
HaloScan bot
HaloScan bot蜘蛛/爬虫属于营销类型,由ARCHI301开发运行。您可以继续阅读下方信息,以深入了解HaloScan bot基本信息,用户代理和访问控制等。
Matchory Bot
Matchory Bot蜘蛛/爬虫属于营销类型,由Matchory GmbH开发运行。您可以继续阅读下方信息,以深入了解Matchory Bot基本信息,用户代理和访问控制等。

相关文章

Related Articles