Gigabot

Gigabot蜘蛛/爬蟲屬於搜尋引擎型別,由Gigablast, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Gigabot基本資訊,使用者代理和訪問控制等。

基本資訊

Gigabot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Gigabot
型別
搜尋引擎
開發商
Gigablast, Inc.
當前狀態
活動

使用者代理

關於Gigabot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
GigablastOpenSource/1.0
使用者代理字串
Mozilla/5.0 (compatible; GigablastOpenSource/1.0)
首次出現
2016-07-29 16:31:40
最後出現
2021-05-20 19:36:28
遵循robots.txt
來源
IP地址(2) 伺服器名稱 所屬國家
70.108.8.72 pool-70-108-8-72.washdc.fios.verizon.net US
188.176.48.254 188-176-48-254-static.dk.customer.tdc.net DK
62.231.95.189 62-231-95-189.rdsnet.ro RO
198.16.7.135 gb1.exactseek.com US
217.23.2.54 customer.worldstream.nl NL
93.238.204.49 p5deecc31.dip0.t-ipconnect.de DE
79.197.103.220 p4fc567dc.dip0.t-ipconnect.de DE
93.238.202.126 p5deeca7e.dip0.t-ipconnect.de DE
81.169.233.182 h2800027.stratoserver.net DE
78.47.37.98 ? DE
195.201.170.90 ? DE
2a01:4f8:141:5148::2 2a01:4f8:141:5148::2 DE
54.38.176.6 ns3113752.ip-54-38-176.eu FR
37.187.143.234 ns3094944.ip-37-187-143.eu FR
37.187.147.25 ns3091934.ip-37-187-147.eu FR
37.187.143.226 ns330836.ip-37-187-143.eu FR
37.187.143.208 ns3066836.ip-37-187-143.eu FR
106.72.159.3 m106072159003.v4.enabler.ne.jp JP
172.7.16.63 172-7-16-63.lightspeed.bcvloh.sbcglobal.net US
使用者代理字串
GigablastOpenSource/1.0
首次出現
2014-08-25 09:30:00
最後出現
2021-04-21 12:51:58
遵循robots.txt
來源
IP地址(87) 伺服器名稱 所屬國家
62.231.95.189 62-231-95-189.rdsnet.ro RO
198.16.7.135 gb1.exactseek.com US
217.23.2.54 customer.worldstream.nl NL
93.238.204.49 p5deecc31.dip0.t-ipconnect.de DE
79.197.103.220 p4fc567dc.dip0.t-ipconnect.de DE
93.238.202.126 p5deeca7e.dip0.t-ipconnect.de DE
81.169.233.182 h2800027.stratoserver.net DE
78.47.37.98 ? DE
195.201.170.90 ? DE
2a01:4f8:141:5148::2 2a01:4f8:141:5148::2 DE
使用者代理字串
Gigabot
首次出現
2018-06-08 13:19:34
最後出現
2020-04-13 15:37:15
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
65.132.59.34 ? US
使用者代理字串
Gigabot (1.1 1.2)
首次出現
2019-10-14 04:59:56
最後出現
2020-02-08 00:30:50
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
65.132.59.34 ? US
使用者代理字串
Gigabot (1.1 1.2)
首次出現
2019-10-14 04:59:56
最後出現
2020-02-08 00:30:50
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
65.132.59.34 ? US
使用者代理字串
G-i-g-a-b-o-t
首次出現
2017-06-10 03:51:15
最後出現
2019-05-29 17:09:18
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
65.132.59.34 ? US
使用者代理字串
Gigabot/3.0 (http://www.gigablast.com/spider.html)
首次出現
2009-05-11 05:50:00
最後出現
2018-11-26 10:17:00
遵循robots.txt
未知
來源
IP地址(23) 伺服器名稱 所屬國家
84.101.220.67 ? FR
213.159.213.113 vds.ds RU
213.159.213.114 ru-ms-vgen-01.vpnsvc.com RU
213.159.213.116 ru-ms-vgen-01.vpnsvc.com RU
213.159.213.115 ru-ms-vgen-01.vpnsvc.com RU
83.143.83.199 ? NO
83.143.83.203 ? NO
83.143.83.195 ? NO
83.143.83.198 ? NO
83.143.83.196 ? NO
使用者代理字串
GigablastOpenSource/1
首次出現
2013-08-22 23:45:30
最後出現
2018-06-09 16:03:59
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
95.216.29.163 ? FI
78.47.37.98 ? DE
148.251.9.252 ? DE
90.191.82.137 137-82-191-90.dyn.estpak.ee EE
69.9.181.172 coeus.exactseek.com US
69.9.181.169 sitepronews.com US
195.222.13.111 fry.ideelabor.ee EE
208.122.26.142 blog-search.com US
使用者代理字串
Gigabot/1.0
首次出現
2015-11-27 20:00:18
最後出現
2017-05-05 02:31:40
遵循robots.txt
來源
IP地址(1) 伺服器名稱 所屬國家
149.90.182.105 105.182.90.149.rev.vodafone.pt PT
66.162.42.131 66-162-42-131.static.twtelecom.net US
65.132.59.34 65.132.59.34 US
使用者代理字串
Gigabot/1.0
首次出現
2015-11-27 20:00:18
最後出現
2017-05-05 02:31:40
遵循robots.txt
來源
IP地址(1) 伺服器名稱 所屬國家
65.132.59.34 65.132.59.34 US
使用者代理字串
Gigabot/2.0
首次出現
2016-05-05 09:23:00
最後出現
2016-06-06 11:58:03
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
65.132.59.34 ? US

訪問控制

瞭解如何控制Gigabot訪問許可權,避免Gigabot抓取行為不當。

是否攔截Gigabot?

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Gigabot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Gigabot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Gigabot Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Gigabot
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
Mithril
Mithril蜘蛛/爬蟲屬於搜尋引擎型別,由University of Michigan開發執行。您可以繼續閱讀下方資訊,以深入瞭解Mithril基本資訊,使用者代理和訪問控制等。
fynd.bot crawler
fynd.bot crawler蜘蛛/爬蟲屬於搜尋引擎型別,由fynd.bot開發執行。您可以繼續閱讀下方資訊,以深入瞭解fynd.bot crawler基本資訊,使用者代理和訪問控制等。
Alibaba crawler
Alibaba crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Alibaba Group開發執行。您可以繼續閱讀下方資訊,以深入瞭解Alibaba crawler基本資訊,使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解GoogleBot基本資訊,使用者代理和訪問控制等。
Swisscows Crawler
Swisscows Crawler蜘蛛/爬蟲屬於搜尋引擎型別,由Swisscows AG開發執行。您可以繼續閱讀下方資訊,以深入瞭解Swisscows Crawler基本資訊,使用者代理和訪問控制等。
star-finder.de Bot
star-finder.de Bot蜘蛛/爬蟲屬於搜尋引擎型別,由projektnet開發執行。您可以繼續閱讀下方資訊,以深入瞭解star-finder.de Bot基本資訊,使用者代理和訪問控制等。
SeznamBot
SeznamBot蜘蛛/爬蟲屬於搜尋引擎型別,由Seznam.cz, a.s.開發執行。您可以繼續閱讀下方資訊,以深入瞭解SeznamBot基本資訊,使用者代理和訪問控制等。
MojeekBot
MojeekBot蜘蛛/爬蟲屬於搜尋引擎型別,由Mojeek Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解MojeekBot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles