HubSpot Crawler

HubSpot Crawler蜘蛛/爬蟲屬於營銷型別，由HubSpot Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解HubSpot Crawler基本資訊，使用者代理和訪問控制等。

基本資訊

HubSpot Crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

蜘蛛/爬蟲名稱: HubSpot Crawler

型別: 營銷

開發商: HubSpot Inc.

當前狀態: 活動

使用者代理

關於HubSpot Crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

使用者代理字串: Mozilla/5.0 (compatible; HubSpot Crawler; HubSpot Domain check; +https://www.hubspot.com)

首次出現: 2023-12-26 15:46:33

最後出現: 2025-01-04 10:15:51

遵循robots.txt: 未知

來源

IP地址(12)	伺服器名稱	所屬國家
54.174.58.242	54.174.58.242	US
54.174.58.228	54.174.58.228	US
54.174.58.243	54.174.58.243	US
54.174.58.253	54.174.58.253	US
54.174.58.250	54.174.58.250	US

使用者代理字串: Mozilla/5.0 (X11; Linux x86_64; HubSpot Url validation check; web-crawlers+url-validation@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36

首次出現: 2019-08-14 03:48:31

最後出現: 2022-05-01 17:31:36

遵循robots.txt: 未知

來源

IP地址(12)	伺服器名稱	所屬國家
54.174.53.145	54.174.53.145	US
54.174.55.37	54.174.55.37	US
54.174.58.106	54.174.58.106	US
54.174.53.87	54.174.53.87	US
54.174.55.207	54.174.55.207	US

使用者代理字串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompanies-Tq2-BizCoDomainValidationAudit

首次出現: 2019-10-20 01:16:45

最後出現: 2022-03-29 18:15:35

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
54.174.53.77	54.174.53.77	US
54.174.54.217	54.174.54.217	US
54.174.55.158	54.174.55.158	US
54.174.54.97	54.174.54.97	US
54.174.54.127	54.174.54.127	US

使用者代理字串: Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com)

首次出現: 2019-05-19 12:56:53

最後出現: 2020-10-07 19:31:54

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
54.174.58.252	54.174.58.252	US
54.174.58.239	54.174.58.239	US
54.174.58.248	54.174.58.248	US
54.174.55.147	54.174.55.147	US
54.174.55.170	54.174.55.170	US

使用者代理字串: mozilla/5.0 (compatible; hubspot crawler; web-crawlers@hubspot.com; +@operator_contact_url@)

首次出現: 2019-08-27 00:15:44

最後出現: 2020-09-29 14:25:33

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
54.174.58.121	?	US
54.174.54.196	?	US
54.174.56.162	?	US
54.174.53.204	?	US
54.174.54.137	?	US

使用者代理字串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesOneOffJobs-DomainStatusNioHttpClientStatsJob

首次出現: 2020-07-02 06:48:55

最後出現: 2020-07-02 06:48:55

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
54.174.56.146	54.174.56.146	US

使用者代理字串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - contentfilemanagerapiwebinternal-web

首次出現: 2020-04-24 09:44:33

最後出現: 2020-05-13 12:24:16

遵循robots.txt: 未知

來源

IP地址(7)	伺服器名稱	所屬國家
54.174.54.170	54.174.54.170	US
54.174.54.45	54.174.54.45	US
54.174.53.168	54.174.53.168	US
54.174.55.76	54.174.55.76	US
54.174.55.187	54.174.55.187	US

使用者代理字串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesKafka-BizCoDomainValidation

首次出現: 2020-02-11 09:35:57

最後出現: 2020-02-11 09:35:57

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
54.174.54.138	54.174.54.138	US

使用者代理字串: HubSpot Links Crawler 2.0 http://www.hubspot.com/

首次出現: 2016-06-27 07:55:00

最後出現: 2020-02-07 02:11:12

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
54.174.54.113	?	US
54.174.56.108	?	US
54.174.56.189	?	US
54.174.56.113	?	US
54.174.53.145	?	US

使用者代理字串: Mozilla/5.0 (X11; Linux x86_64; HubSpot Single Page link check; web-crawlers+links@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36

首次出現: 2018-11-14 23:16:52

最後出現: 2020-02-06 13:39:17

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
54.174.55.122	?	US
54.174.55.125	?	US
54.174.55.129	?	US
54.174.54.174	?	US
54.174.54.69	?	US

使用者代理字串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - UrlBlacklistsKafkaWorkers-urlchecksworker

首次出現: 2017-03-02 08:50:51

最後出現: 2019-04-04 08:04:57

遵循robots.txt: 未知

來源

IP地址(5)	伺服器名稱	所屬國家
54.174.55.64	?	US
54.174.53.243	?	US
54.174.53.15	ec2-54-174-53-15.compute-1.amazonaws.com	US
54.174.60.71	ec2-54-174-60-71.compute-1.amazonaws.com	US
54.174.61.21	ec2-54-174-61-21.compute-1.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)

首次出現: 2019-03-04 04:53:15

最後出現: 2019-03-04 04:53:15

遵循robots.txt: 未知

來源

IP地址(53)	伺服器名稱	所屬國家
54.174.58.255	54.174.58.255	US
54.174.58.232	54.174.58.232	US
54.174.58.244	54.174.58.244	US
54.174.58.241	54.174.58.241	US
54.174.58.179	?	US

使用者代理字串: Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)

首次出現: 2019-03-04 04:53:15

最後出現: 2019-03-04 04:53:15

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
54.174.55.123	54.174.55.123	US

使用者代理字串: Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_1_1 like Mac OS X; en) AppleWebKit/534.46.0 (KHTML, like Gecko) CriOS/19.0.1084.60 Mobile/9B206 Safari/7534.48.3 HubSpot Website Grader (web-crawlers@hubspot.com)

首次出現: 2016-12-11 07:38:04

最後出現: 2016-12-11 07:38:04

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
54.174.56.141	ec2-54-174-56-141.compute-1.amazonaws.com	US
54.174.61.68	ec2-54-174-61-68.compute-1.amazonaws.com	US
54.174.61.37	pgg3uf.pgg3uf.cs.hubspotemail.net	US

使用者代理字串: HubSpot Connect 2.0 (http://dev.hubspot.com/)

首次出現: 2016-01-02 22:50:00

最後出現: 2016-05-25 15:14:46

遵循robots.txt: 未知

來源

IP地址(45)	伺服器名稱	所屬國家
54.174.55.6	54.174.55.6	US
54.174.53.40	54.174.53.40	US
54.174.54.212	54.174.54.212	US
54.174.56.37	54.174.56.37	US
54.174.53.92	54.174.53.92	US

使用者代理字串: HubSpot Connect 2.0 (http://dev.hubspot.com/)

首次出現: 2016-01-02 22:50:00

最後出現: 2016-05-25 15:14:46

遵循robots.txt: 未知

來源

IP地址(3)	伺服器名稱	所屬國家
54.174.58.163	ec2-54-174-58-163.compute-1.amazonaws.com	US
54.174.57.129	ec2-54-174-57-129.compute-1.amazonaws.com	US
54.174.60.47	ec2-54-174-60-47.compute-1.amazonaws.com	US

使用者代理字串: HubSpot Marketing Grader, HubSpot Marketing Grader

首次出現: 2016-02-27 17:19:19

最後出現: 2016-02-27 17:19:19

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
54.174.57.19	ec2-54-174-57-19.compute-1.amazonaws.com	US
54.174.60.170	ec2-54-174-60-170.compute-1.amazonaws.com	US

使用者代理字串: HubSpot Marketing Grader

首次出現: 2015-08-23 10:35:36

最後出現: 2016-02-27 17:19:04

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
54.174.57.19	ec2-54-174-57-19.compute-1.amazonaws.com	US
54.174.60.170	ec2-54-174-60-170.compute-1.amazonaws.com	US
54.174.54.169	ec2-54-174-54-169.compute-1.amazonaws.com	US
54.174.53.127	ec2-54-174-53-127.compute-1.amazonaws.com	US
54.174.60.191	ec2-54-174-60-191.compute-1.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler

首次出現: 2015-12-15 08:40:00

最後出現: 2016-02-16 08:07:50

遵循robots.txt: 未知

來源

IP地址(21)	伺服器名稱	所屬國家
54.174.54.145	?	US
54.174.55.122	?	US
54.174.55.121	?	US
54.174.55.116	?	US
54.174.55.124	?	US

使用者代理字串: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler

首次出現: 2015-12-15 08:40:00

最後出現: 2016-02-16 08:07:50

遵循robots.txt: 未知

來源

IP地址(10)	伺服器名稱	所屬國家
54.174.53.127	ec2-54-174-53-127.compute-1.amazonaws.com	US
54.174.53.13	ec2-54-174-53-13.compute-1.amazonaws.com	US
54.174.61.68	ec2-54-174-61-68.compute-1.amazonaws.com	US
54.174.58.186	ec2-54-174-58-186.compute-1.amazonaws.com	US
54.174.58.237	ec2-54-174-58-237.compute-1.amazonaws.com	US

使用者代理字串: com.hubspot.spooks.core.UserAgent@753535c0, HubSpot Marketing Grader

首次出現: 2016-02-11 11:18:39

最後出現: 2016-02-11 11:18:39

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
54.174.54.169	ec2-54-174-54-169.compute-1.amazonaws.com	US

使用者代理字串: HubSpot Links Crawler 1.0 http://www.hubspot.com/

首次出現: 2015-01-06 08:15:00

最後出現: 2015-01-14 07:15:13

遵循robots.txt: 未知

來源

IP地址(2)	伺服器名稱	所屬國家
54.196.253.164	ec2-54-196-253-164.compute-1.amazonaws.com	US
54.87.101.152	ec2-54-87-101-152.compute-1.amazonaws.com	US

使用者代理字串: HubSpot Crawler 1.0 http://www.hubspot.com/

首次出現: 2014-06-06 07:00:00

最後出現: 2014-10-16 14:09:46

遵循robots.txt: 未知

來源

IP地址(28)	伺服器名稱	所屬國家
54.80.230.99	ec2-54-80-230-99.compute-1.amazonaws.com	US
54.224.136.90	ec2-54-224-136-90.compute-1.amazonaws.com	US
54.198.244.58	ec2-54-198-244-58.compute-1.amazonaws.com	US
54.87.176.98	ec2-54-87-176-98.compute-1.amazonaws.com	US
54.198.237.208	ec2-54-198-237-208.compute-1.amazonaws.com	US

使用者代理字串: Hubspot Biden Image Utils

首次出現: 2014-08-28 21:08:37

最後出現: 2014-08-28 21:08:37

遵循robots.txt: 未知

來源

IP地址(1)	伺服器名稱	所屬國家
54.226.42.23	ec2-54-226-42-23.compute-1.amazonaws.com	US

使用者代理字串: Mozilla/5.0 (iPhone; CPU iPhone OS 5_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9B179 Safari/7534.48.3 HubSpot Marketing Grader

首次出現: 2014-06-01 21:38:05

最後出現: 2014-06-01 21:38:05

遵循robots.txt: 未知

來源

IP地址(21)	伺服器名稱	所屬國家
54.174.55.145	54.174.55.145	US
54.174.55.147	54.174.55.147	US
54.174.55.137	54.174.55.137	US
54.174.54.149	54.174.54.149	US
54.174.55.17	54.174.55.17	US

使用者代理字串: HubSpot Connect 1.0 (http://dev.hubspot.com/)

首次出現: 2012-10-21 00:30:00

最後出現: 2014-04-23 07:40:57

遵循robots.txt: 未知

來源

IP地址(27)	伺服器名稱	所屬國家
174.129.80.74	ec2-174-129-80-74.compute-1.amazonaws.com	US
50.16.54.204	ec2-50-16-54-204.compute-1.amazonaws.com	US
75.101.191.166	ec2-75-101-191-166.compute-1.amazonaws.com	US
184.72.184.167	ec2-184-72-184-167.compute-1.amazonaws.com	US
50.17.23.45	ec2-50-17-23-45.compute-1.amazonaws.com	US

訪問控制

瞭解如何控制HubSpot Crawler訪問許可權，避免HubSpot Crawler抓取行為不當。

是否攔截HubSpot Crawler？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 HubSpot Crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: HubSpot Crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

站長工具

我們為站長量身定做的高效工具集。

檢視全部工具

常見蜘蛛/爬蟲

Common Spiders

RidderBot

RidderBot蜘蛛/爬蟲屬於營銷型別，由Ridder開發執行。您可以繼續閱讀下方資訊，以深入瞭解RidderBot基本資訊，使用者代理和訪問控制等。

Upsales bot

Upsales bot蜘蛛/爬蟲屬於營銷型別，由Upsales Nordic AB開發執行。您可以繼續閱讀下方資訊，以深入瞭解Upsales bot基本資訊，使用者代理和訪問控制等。

HealRWorld

HealRWorld蜘蛛/爬蟲屬於營銷型別，由HealRWorld LLC.開發執行。您可以繼續閱讀下方資訊，以深入瞭解HealRWorld基本資訊，使用者代理和訪問控制等。

Scope3

Scope3蜘蛛/爬蟲屬於營銷型別，由Scope3, PBC.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Scope3基本資訊，使用者代理和訪問控制等。

MercuryLeads/1.0

MercuryLeads/1.0蜘蛛/爬蟲屬於營銷型別，由Mercury Leads開發執行。您可以繼續閱讀下方資訊，以深入瞭解MercuryLeads/1.0基本資訊，使用者代理和訪問控制等。

mediaboardbot

mediaboardbot蜘蛛/爬蟲屬於營銷型別，由Mediaboard s.r.o.開發執行。您可以繼續閱讀下方資訊，以深入瞭解mediaboardbot基本資訊，使用者代理和訪問控制等。

HaloScan bot

HaloScan bot蜘蛛/爬蟲屬於營銷型別，由ARCHI301開發執行。您可以繼續閱讀下方資訊，以深入瞭解HaloScan bot基本資訊，使用者代理和訪問控制等。

Matchory Bot

Matchory Bot蜘蛛/爬蟲屬於營銷型別，由Matchory GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解Matchory Bot基本資訊，使用者代理和訪問控制等。

如何做搜尋引擎蜘蛛日誌分析

搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。

什麼是抓取預算（Crawl Budget）及如何最大化其利用價值

抓取預算（Crawl Budget），您又可以將之稱為抓取頻率、抓取量。這個量一般是由搜尋引擎蜘蛛根據網站的質量度和權重給域名分配的。理解抓取預算的定義，重要性及最大化其效率，這有利於網站的索引、排名。

怎樣才算有利於SEO的網站結構

眾所周知，扁平且層級不超過三級的網站結構是最有利於搜尋引擎蜘蛛爬取的。顯淺的一句看似易懂但如深入，又未必是那麼容易理解。下面我們將深入瞭解網站結構的定義，重要性及實踐，以便於各位技術開發、站長和SEOer在未來的網站開發及運營中應用。

為什麼要控制Googlebot抓取速度？

在本文中，我們將瞭解您為什麼要控制Googlebot以及如何控制Googlebot和其他搜尋引擎爬蟲的抓取速度。

如何攔截Google和Bing訪問您的網站？

在本文中，我們將解釋如何遮蔽Googlebot和Bingbot，遮蔽爬蟲後會發生什麼以及出現爬取問題的常見原因。

Bing網站管理員工具Bingbot網站爬取頻率設定

Bing網站管理員工具中的爬網空間功能允許網站管理員控制Bingbot抓取您的網站的速率。當您的網站上有訪問者以適當地管理頻寬時，需要進行爬網控制以限制Bingbot和Googlebot等搜尋引擎蜘蛛的活動。

WordPress攔截IP地址的6種方法

當網站規模擴大時，您需要採取某些措施來限制來自評論垃圾郵件傳送者、無效機器人和人類攻擊者的流量。這對於保護您的伺服器資源可用於真實使用者以及您支付託管費用以獲得真實訪問者至關重要。在本文中，我們將解釋在WordPress中攔截IP地址的6種方法。

如何禁止搜尋引擎索引WordPress網站

您可能想要隱藏站點上的內容的原因有很多，但依靠“建議搜尋引擎不索引本站點”選項並不是確保此類內容不被看到的最佳方法。除非您想在網路上隱藏您的整個網站，否則永遠不要單擊此選項，因為如果不小心切換，它會對您的SEO造成巨大損害。

HubSpot Crawler

基本資訊

使用者代理

訪問控制

是否攔截HubSpot Crawler？

通過Robots.txt攔截

更多資訊

站長工具

常見蜘蛛/爬蟲

相關文章