Gigabot

Gigabot蜘蛛/爬虫属于搜索引擎类型,由Gigablast, Inc.开发运行。您可以继续阅读下方信息,以深入了解Gigabot基本信息,用户代理和访问控制等。

基本信息

Gigabot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Gigabot
类型
搜索引擎
开发商
Gigablast, Inc.
当前状态
活动

用户代理

关于Gigabot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
GigablastOpenSource/1.0
用户代理字符串
Mozilla/5.0 (compatible; GigablastOpenSource/1.0)
首次出现
2016-07-29 16:31:40
最后出现
2021-05-20 19:36:28
遵循robots.txt
来源
IP地址(19) 服务器名称 所属国家
70.108.8.72 pool-70-108-8-72.washdc.fios.verizon.net US
188.176.48.254 188-176-48-254-static.dk.customer.tdc.net DK
62.231.95.189 62-231-95-189.rdsnet.ro RO
198.16.7.135 gb1.exactseek.com US
217.23.2.54 customer.worldstream.nl NL
用户代理字符串
GigablastOpenSource/1.0
首次出现
2014-08-25 09:30:00
最后出现
2021-04-21 12:51:58
遵循robots.txt
来源
IP地址(10) 服务器名称 所属国家
62.231.95.189 62-231-95-189.rdsnet.ro RO
198.16.7.135 gb1.exactseek.com US
217.23.2.54 customer.worldstream.nl NL
93.238.204.49 p5deecc31.dip0.t-ipconnect.de DE
79.197.103.220 p4fc567dc.dip0.t-ipconnect.de DE
用户代理字符串
Gigabot
首次出现
2018-06-08 13:19:34
最后出现
2020-04-13 15:37:15
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
Gigabot (1.1 1.2)
首次出现
2019-10-14 04:59:56
最后出现
2020-02-08 00:30:50
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
Gigabot (1.1 1.2)
首次出现
2019-10-14 04:59:56
最后出现
2020-02-08 00:30:50
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
G-i-g-a-b-o-t
首次出现
2017-06-10 03:51:15
最后出现
2019-05-29 17:09:18
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
Gigabot/3.0 (http://www.gigablast.com/spider.html)
首次出现
2009-05-11 05:50:00
最后出现
2018-11-26 10:17:00
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
84.101.220.67 ? FR
213.159.213.113 vds.ds RU
213.159.213.114 ru-ms-vgen-01.vpnsvc.com RU
213.159.213.116 ru-ms-vgen-01.vpnsvc.com RU
213.159.213.115 ru-ms-vgen-01.vpnsvc.com RU
用户代理字符串
GigablastOpenSource/1
首次出现
2013-08-22 23:45:30
最后出现
2018-06-09 16:03:59
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
95.216.29.163 ? FI
78.47.37.98 ? DE
148.251.9.252 ? DE
90.191.82.137 137-82-191-90.dyn.estpak.ee EE
69.9.181.172 coeus.exactseek.com US
用户代理字符串
Gigabot/1.0
首次出现
2015-11-27 20:00:18
最后出现
2017-05-05 02:31:40
遵循robots.txt
来源
IP地址(3) 服务器名称 所属国家
149.90.182.105 105.182.90.149.rev.vodafone.pt PT
66.162.42.131 66-162-42-131.static.twtelecom.net US
65.132.59.34 65.132.59.34 US
用户代理字符串
Gigabot/1.0
首次出现
2015-11-27 20:00:18
最后出现
2017-05-05 02:31:40
遵循robots.txt
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 65.132.59.34 US
用户代理字符串
Gigabot/2.0
首次出现
2016-05-05 09:23:00
最后出现
2016-06-06 11:58:03
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US

访问控制

了解如何控制Gigabot访问权限,避免Gigabot抓取行为不当。

是否拦截Gigabot?

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力,是用户发现您网站的有效途径。事实上,拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Gigabot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Gigabot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles