Gigabot
Gigabot蜘蛛/爬蟲屬於搜尋引擎型別,由Gigablast, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Gigabot基本資訊,使用者代理和訪問控制等。
基本資訊
Gigabot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- Gigabot
- 型別
- 搜尋引擎
- 開發商
-
Gigablast, Inc.
- 當前狀態
-
活動
使用者代理
關於Gigabot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
GigablastOpenSource/1.0
-
GigablastOpenSource/1.0
-
GigablastOpenSource/1.0
-
Gigabot
-
Gigabot
-
Gigabot
-
G-i-g-a-b-o-t
-
Gigabot/3.0
-
GigablastOpenSource/1
-
Gigabot/1.0
-
Gigabot/1.0
-
Gigabot/2.0
- 使用者代理字串
- Mozilla/5.0 (compatible; GigablastOpenSource/1.0)
- 首次出現
- 2016-07-29 16:31:40
- 最後出現
- 2021-05-20 19:36:28
- 遵循robots.txt
- 否
- 來源
-
IP地址(2) |
伺服器名稱 |
所屬國家 |
70.108.8.72 |
pool-70-108-8-72.washdc.fios.verizon.net |
US |
188.176.48.254 |
188-176-48-254-static.dk.customer.tdc.net |
DK |
62.231.95.189 |
62-231-95-189.rdsnet.ro |
RO |
198.16.7.135 |
gb1.exactseek.com |
US |
217.23.2.54 |
customer.worldstream.nl |
NL |
93.238.204.49 |
p5deecc31.dip0.t-ipconnect.de |
DE |
79.197.103.220 |
p4fc567dc.dip0.t-ipconnect.de |
DE |
93.238.202.126 |
p5deeca7e.dip0.t-ipconnect.de |
DE |
81.169.233.182 |
h2800027.stratoserver.net |
DE |
78.47.37.98 |
? |
DE |
195.201.170.90 |
? |
DE |
2a01:4f8:141:5148::2 |
2a01:4f8:141:5148::2 |
DE |
54.38.176.6 |
ns3113752.ip-54-38-176.eu |
FR |
37.187.143.234 |
ns3094944.ip-37-187-143.eu |
FR |
37.187.147.25 |
ns3091934.ip-37-187-147.eu |
FR |
37.187.143.226 |
ns330836.ip-37-187-143.eu |
FR |
37.187.143.208 |
ns3066836.ip-37-187-143.eu |
FR |
106.72.159.3 |
m106072159003.v4.enabler.ne.jp |
JP |
172.7.16.63 |
172-7-16-63.lightspeed.bcvloh.sbcglobal.net |
US |
- 使用者代理字串
- GigablastOpenSource/1.0
- 首次出現
- 2014-08-25 09:30:00
- 最後出現
- 2021-04-21 12:51:58
- 遵循robots.txt
- 否
- 來源
-
IP地址(87) |
伺服器名稱 |
所屬國家 |
62.231.95.189 |
62-231-95-189.rdsnet.ro |
RO |
198.16.7.135 |
gb1.exactseek.com |
US |
217.23.2.54 |
customer.worldstream.nl |
NL |
93.238.204.49 |
p5deecc31.dip0.t-ipconnect.de |
DE |
79.197.103.220 |
p4fc567dc.dip0.t-ipconnect.de |
DE |
93.238.202.126 |
p5deeca7e.dip0.t-ipconnect.de |
DE |
81.169.233.182 |
h2800027.stratoserver.net |
DE |
78.47.37.98 |
? |
DE |
195.201.170.90 |
? |
DE |
2a01:4f8:141:5148::2 |
2a01:4f8:141:5148::2 |
DE |
- 使用者代理字串
- Gigabot
- 首次出現
- 2018-06-08 13:19:34
- 最後出現
- 2020-04-13 15:37:15
- 遵循robots.txt
- 未知
- 來源
-
IP地址(1) |
伺服器名稱 |
所屬國家 |
65.132.59.34 |
? |
US |
- 使用者代理字串
- Gigabot (1.1 1.2)
- 首次出現
- 2019-10-14 04:59:56
- 最後出現
- 2020-02-08 00:30:50
- 遵循robots.txt
- 未知
- 來源
-
IP地址(1) |
伺服器名稱 |
所屬國家 |
65.132.59.34 |
? |
US |
- 使用者代理字串
- Gigabot (1.1 1.2)
- 首次出現
- 2019-10-14 04:59:56
- 最後出現
- 2020-02-08 00:30:50
- 遵循robots.txt
- 未知
- 來源
-
IP地址(1) |
伺服器名稱 |
所屬國家 |
65.132.59.34 |
? |
US |
- 使用者代理字串
- G-i-g-a-b-o-t
- 首次出現
- 2017-06-10 03:51:15
- 最後出現
- 2019-05-29 17:09:18
- 遵循robots.txt
- 未知
- 來源
-
IP地址(1) |
伺服器名稱 |
所屬國家 |
65.132.59.34 |
? |
US |
- 使用者代理字串
- Gigabot/3.0 (http://www.gigablast.com/spider.html)
- 首次出現
- 2009-05-11 05:50:00
- 最後出現
- 2018-11-26 10:17:00
- 遵循robots.txt
- 未知
- 來源
-
IP地址(23) |
伺服器名稱 |
所屬國家 |
84.101.220.67 |
? |
FR |
213.159.213.113 |
vds.ds |
RU |
213.159.213.114 |
ru-ms-vgen-01.vpnsvc.com |
RU |
213.159.213.116 |
ru-ms-vgen-01.vpnsvc.com |
RU |
213.159.213.115 |
ru-ms-vgen-01.vpnsvc.com |
RU |
83.143.83.199 |
? |
NO |
83.143.83.203 |
? |
NO |
83.143.83.195 |
? |
NO |
83.143.83.198 |
? |
NO |
83.143.83.196 |
? |
NO |
- 使用者代理字串
- GigablastOpenSource/1
- 首次出現
- 2013-08-22 23:45:30
- 最後出現
- 2018-06-09 16:03:59
- 遵循robots.txt
- 未知
- 來源
-
IP地址(8) |
伺服器名稱 |
所屬國家 |
95.216.29.163 |
? |
FI |
78.47.37.98 |
? |
DE |
148.251.9.252 |
? |
DE |
90.191.82.137 |
137-82-191-90.dyn.estpak.ee |
EE |
69.9.181.172 |
coeus.exactseek.com |
US |
69.9.181.169 |
sitepronews.com |
US |
195.222.13.111 |
fry.ideelabor.ee |
EE |
208.122.26.142 |
blog-search.com |
US |
- 使用者代理字串
- Gigabot/1.0
- 首次出現
- 2015-11-27 20:00:18
- 最後出現
- 2017-05-05 02:31:40
- 遵循robots.txt
- 否
- 來源
-
IP地址(1) |
伺服器名稱 |
所屬國家 |
149.90.182.105 |
105.182.90.149.rev.vodafone.pt |
PT |
66.162.42.131 |
66-162-42-131.static.twtelecom.net |
US |
65.132.59.34 |
65.132.59.34 |
US |
- 使用者代理字串
- Gigabot/1.0
- 首次出現
- 2015-11-27 20:00:18
- 最後出現
- 2017-05-05 02:31:40
- 遵循robots.txt
- 否
- 來源
-
IP地址(1) |
伺服器名稱 |
所屬國家 |
65.132.59.34 |
65.132.59.34 |
US |
- 使用者代理字串
- Gigabot/2.0
- 首次出現
- 2016-05-05 09:23:00
- 最後出現
- 2016-06-06 11:58:03
- 遵循robots.txt
- 未知
- 來源
-
IP地址(1) |
伺服器名稱 |
所屬國家 |
65.132.59.34 |
? |
US |
訪問控制
瞭解如何控制Gigabot訪問許可權,避免Gigabot抓取行為不當。
是否攔截Gigabot?
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Gigabot 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛,以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Gigabot
Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Gigabot
Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。