HubSpot Crawler

HubSpot Crawler蜘蛛/爬虫属于营销类型，由HubSpot Inc.开发运行。您可以继续阅读下方信息，以深入了解HubSpot Crawler基本信息，用户代理和访问控制等。

基本信息

HubSpot Crawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

蜘蛛/爬虫名称: HubSpot Crawler

类型: 营销

开发商: HubSpot Inc.

当前状态: 活动

用户代理

关于HubSpot Crawler蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: Mozilla/5.0 (compatible; HubSpot Crawler; HubSpot Domain check; +https://www.hubspot.com)

首次出现: 2023-12-26 15:46:33

最后出现: 2025-01-04 10:15:51

遵循robots.txt: 未知

来源

IP地址(12)	服务器名称	所属国家
54.174.58.242	54.174.58.242	US
54.174.58.228	54.174.58.228	US
54.174.58.243	54.174.58.243	US
54.174.58.253	54.174.58.253	US
54.174.58.250	54.174.58.250	US

用户代理字符串: Mozilla/5.0 (X11; Linux x86_64; HubSpot Url validation check; web-crawlers+url-validation@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36

首次出现: 2019-08-14 03:48:31

最后出现: 2022-05-01 17:31:36

遵循robots.txt: 未知

来源

IP地址(12)	服务器名称	所属国家
54.174.53.145	54.174.53.145	US
54.174.55.37	54.174.55.37	US
54.174.58.106	54.174.58.106	US
54.174.53.87	54.174.53.87	US
54.174.55.207	54.174.55.207	US

用户代理字符串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompanies-Tq2-BizCoDomainValidationAudit

首次出现: 2019-10-20 01:16:45

最后出现: 2022-03-29 18:15:35

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
54.174.53.77	54.174.53.77	US
54.174.54.217	54.174.54.217	US
54.174.55.158	54.174.55.158	US
54.174.54.97	54.174.54.97	US
54.174.54.127	54.174.54.127	US

用户代理字符串: Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com)

首次出现: 2019-05-19 12:56:53

最后出现: 2020-10-07 19:31:54

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
54.174.58.252	54.174.58.252	US
54.174.58.239	54.174.58.239	US
54.174.58.248	54.174.58.248	US
54.174.55.147	54.174.55.147	US
54.174.55.170	54.174.55.170	US

用户代理字符串: mozilla/5.0 (compatible; hubspot crawler; web-crawlers@hubspot.com; +@operator_contact_url@)

首次出现: 2019-08-27 00:15:44

最后出现: 2020-09-29 14:25:33

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
54.174.58.121	?	US
54.174.54.196	?	US
54.174.56.162	?	US
54.174.53.204	?	US
54.174.54.137	?	US

用户代理字符串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesOneOffJobs-DomainStatusNioHttpClientStatsJob

首次出现: 2020-07-02 06:48:55

最后出现: 2020-07-02 06:48:55

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
54.174.56.146	54.174.56.146	US

用户代理字符串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - contentfilemanagerapiwebinternal-web

首次出现: 2020-04-24 09:44:33

最后出现: 2020-05-13 12:24:16

遵循robots.txt: 未知

来源

IP地址(7)	服务器名称	所属国家
54.174.54.170	54.174.54.170	US
54.174.54.45	54.174.54.45	US
54.174.53.168	54.174.53.168	US
54.174.55.76	54.174.55.76	US
54.174.55.187	54.174.55.187	US

用户代理字符串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesKafka-BizCoDomainValidation

首次出现: 2020-02-11 09:35:57

最后出现: 2020-02-11 09:35:57

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
54.174.54.138	54.174.54.138	US

用户代理字符串: HubSpot Links Crawler 2.0 http://www.hubspot.com/

首次出现: 2016-06-27 07:55:00

最后出现: 2020-02-07 02:11:12

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
54.174.54.113	?	US
54.174.56.108	?	US
54.174.56.189	?	US
54.174.56.113	?	US
54.174.53.145	?	US

用户代理字符串: Mozilla/5.0 (X11; Linux x86_64; HubSpot Single Page link check; web-crawlers+links@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36

首次出现: 2018-11-14 23:16:52

最后出现: 2020-02-06 13:39:17

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
54.174.55.122	?	US
54.174.55.125	?	US
54.174.55.129	?	US
54.174.54.174	?	US
54.174.54.69	?	US

用户代理字符串: HubSpot Connect 2.0 (http://dev.hubspot.com/) - UrlBlacklistsKafkaWorkers-urlchecksworker

首次出现: 2017-03-02 08:50:51

最后出现: 2019-04-04 08:04:57

遵循robots.txt: 未知

来源

IP地址(5)	服务器名称	所属国家
54.174.55.64	?	US
54.174.53.243	?	US
54.174.53.15	ec2-54-174-53-15.compute-1.amazonaws.com	US
54.174.60.71	ec2-54-174-60-71.compute-1.amazonaws.com	US
54.174.61.21	ec2-54-174-61-21.compute-1.amazonaws.com	US

用户代理字符串: Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)

首次出现: 2019-03-04 04:53:15

最后出现: 2019-03-04 04:53:15

遵循robots.txt: 未知

来源

IP地址(53)	服务器名称	所属国家
54.174.58.255	54.174.58.255	US
54.174.58.232	54.174.58.232	US
54.174.58.244	54.174.58.244	US
54.174.58.241	54.174.58.241	US
54.174.58.179	?	US

用户代理字符串: Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)

首次出现: 2019-03-04 04:53:15

最后出现: 2019-03-04 04:53:15

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
54.174.55.123	54.174.55.123	US

用户代理字符串: Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_1_1 like Mac OS X; en) AppleWebKit/534.46.0 (KHTML, like Gecko) CriOS/19.0.1084.60 Mobile/9B206 Safari/7534.48.3 HubSpot Website Grader (web-crawlers@hubspot.com)

首次出现: 2016-12-11 07:38:04

最后出现: 2016-12-11 07:38:04

遵循robots.txt: 未知

来源

IP地址(3)	服务器名称	所属国家
54.174.56.141	ec2-54-174-56-141.compute-1.amazonaws.com	US
54.174.61.68	ec2-54-174-61-68.compute-1.amazonaws.com	US
54.174.61.37	pgg3uf.pgg3uf.cs.hubspotemail.net	US

用户代理字符串: HubSpot Connect 2.0 (http://dev.hubspot.com/)

首次出现: 2016-01-02 22:50:00

最后出现: 2016-05-25 15:14:46

遵循robots.txt: 未知

来源

IP地址(45)	服务器名称	所属国家
54.174.55.6	54.174.55.6	US
54.174.53.40	54.174.53.40	US
54.174.54.212	54.174.54.212	US
54.174.56.37	54.174.56.37	US
54.174.53.92	54.174.53.92	US

用户代理字符串: HubSpot Connect 2.0 (http://dev.hubspot.com/)

首次出现: 2016-01-02 22:50:00

最后出现: 2016-05-25 15:14:46

遵循robots.txt: 未知

来源

IP地址(3)	服务器名称	所属国家
54.174.58.163	ec2-54-174-58-163.compute-1.amazonaws.com	US
54.174.57.129	ec2-54-174-57-129.compute-1.amazonaws.com	US
54.174.60.47	ec2-54-174-60-47.compute-1.amazonaws.com	US

用户代理字符串: HubSpot Marketing Grader, HubSpot Marketing Grader

首次出现: 2016-02-27 17:19:19

最后出现: 2016-02-27 17:19:19

遵循robots.txt: 未知

来源

IP地址(2)	服务器名称	所属国家
54.174.57.19	ec2-54-174-57-19.compute-1.amazonaws.com	US
54.174.60.170	ec2-54-174-60-170.compute-1.amazonaws.com	US

用户代理字符串: HubSpot Marketing Grader

首次出现: 2015-08-23 10:35:36

最后出现: 2016-02-27 17:19:04

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
54.174.57.19	ec2-54-174-57-19.compute-1.amazonaws.com	US
54.174.60.170	ec2-54-174-60-170.compute-1.amazonaws.com	US
54.174.54.169	ec2-54-174-54-169.compute-1.amazonaws.com	US
54.174.53.127	ec2-54-174-53-127.compute-1.amazonaws.com	US
54.174.60.191	ec2-54-174-60-191.compute-1.amazonaws.com	US

用户代理字符串: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler

首次出现: 2015-12-15 08:40:00

最后出现: 2016-02-16 08:07:50

遵循robots.txt: 未知

来源

IP地址(21)	服务器名称	所属国家
54.174.54.145	?	US
54.174.55.122	?	US
54.174.55.121	?	US
54.174.55.116	?	US
54.174.55.124	?	US

用户代理字符串: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler

首次出现: 2015-12-15 08:40:00

最后出现: 2016-02-16 08:07:50

遵循robots.txt: 未知

来源

IP地址(10)	服务器名称	所属国家
54.174.53.127	ec2-54-174-53-127.compute-1.amazonaws.com	US
54.174.53.13	ec2-54-174-53-13.compute-1.amazonaws.com	US
54.174.61.68	ec2-54-174-61-68.compute-1.amazonaws.com	US
54.174.58.186	ec2-54-174-58-186.compute-1.amazonaws.com	US
54.174.58.237	ec2-54-174-58-237.compute-1.amazonaws.com	US

用户代理字符串: com.hubspot.spooks.core.UserAgent@753535c0, HubSpot Marketing Grader

首次出现: 2016-02-11 11:18:39

最后出现: 2016-02-11 11:18:39

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
54.174.54.169	ec2-54-174-54-169.compute-1.amazonaws.com	US

用户代理字符串: HubSpot Links Crawler 1.0 http://www.hubspot.com/

首次出现: 2015-01-06 08:15:00

最后出现: 2015-01-14 07:15:13

遵循robots.txt: 未知

来源

IP地址(2)	服务器名称	所属国家
54.196.253.164	ec2-54-196-253-164.compute-1.amazonaws.com	US
54.87.101.152	ec2-54-87-101-152.compute-1.amazonaws.com	US

用户代理字符串: HubSpot Crawler 1.0 http://www.hubspot.com/

首次出现: 2014-06-06 07:00:00

最后出现: 2014-10-16 14:09:46

遵循robots.txt: 未知

来源

IP地址(28)	服务器名称	所属国家
54.80.230.99	ec2-54-80-230-99.compute-1.amazonaws.com	US
54.224.136.90	ec2-54-224-136-90.compute-1.amazonaws.com	US
54.198.244.58	ec2-54-198-244-58.compute-1.amazonaws.com	US
54.87.176.98	ec2-54-87-176-98.compute-1.amazonaws.com	US
54.198.237.208	ec2-54-198-237-208.compute-1.amazonaws.com	US

用户代理字符串: Hubspot Biden Image Utils

首次出现: 2014-08-28 21:08:37

最后出现: 2014-08-28 21:08:37

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
54.226.42.23	ec2-54-226-42-23.compute-1.amazonaws.com	US

用户代理字符串: Mozilla/5.0 (iPhone; CPU iPhone OS 5_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9B179 Safari/7534.48.3 HubSpot Marketing Grader

首次出现: 2014-06-01 21:38:05

最后出现: 2014-06-01 21:38:05

遵循robots.txt: 未知

来源

IP地址(21)	服务器名称	所属国家
54.174.55.145	54.174.55.145	US
54.174.55.147	54.174.55.147	US
54.174.55.137	54.174.55.137	US
54.174.54.149	54.174.54.149	US
54.174.55.17	54.174.55.17	US

用户代理字符串: HubSpot Connect 1.0 (http://dev.hubspot.com/)

首次出现: 2012-10-21 00:30:00

最后出现: 2014-04-23 07:40:57

遵循robots.txt: 未知

来源

IP地址(27)	服务器名称	所属国家
174.129.80.74	ec2-174-129-80-74.compute-1.amazonaws.com	US
50.16.54.204	ec2-50-16-54-204.compute-1.amazonaws.com	US
75.101.191.166	ec2-75-101-191-166.compute-1.amazonaws.com	US
184.72.184.167	ec2-184-72-184-167.compute-1.amazonaws.com	US
50.17.23.45	ec2-50-17-23-45.compute-1.amazonaws.com	US

访问控制

了解如何控制HubSpot Crawler访问权限，避免HubSpot Crawler抓取行为不当。

是否拦截HubSpot Crawler？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 HubSpot Crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: HubSpot Crawler
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

站长工具

我们为站长量身定做的高效工具集。

查看全部工具

常见蜘蛛/爬虫

Common Spiders

RidderBot

RidderBot蜘蛛/爬虫属于营销类型，由Ridder开发运行。您可以继续阅读下方信息，以深入了解RidderBot基本信息，用户代理和访问控制等。

Upsales bot

Upsales bot蜘蛛/爬虫属于营销类型，由Upsales Nordic AB开发运行。您可以继续阅读下方信息，以深入了解Upsales bot基本信息，用户代理和访问控制等。

HealRWorld

HealRWorld蜘蛛/爬虫属于营销类型，由HealRWorld LLC.开发运行。您可以继续阅读下方信息，以深入了解HealRWorld基本信息，用户代理和访问控制等。

Scope3

Scope3蜘蛛/爬虫属于营销类型，由Scope3, PBC.开发运行。您可以继续阅读下方信息，以深入了解Scope3基本信息，用户代理和访问控制等。

MercuryLeads/1.0

MercuryLeads/1.0蜘蛛/爬虫属于营销类型，由Mercury Leads开发运行。您可以继续阅读下方信息，以深入了解MercuryLeads/1.0基本信息，用户代理和访问控制等。

mediaboardbot

mediaboardbot蜘蛛/爬虫属于营销类型，由Mediaboard s.r.o.开发运行。您可以继续阅读下方信息，以深入了解mediaboardbot基本信息，用户代理和访问控制等。

HaloScan bot

HaloScan bot蜘蛛/爬虫属于营销类型，由ARCHI301开发运行。您可以继续阅读下方信息，以深入了解HaloScan bot基本信息，用户代理和访问控制等。

Matchory Bot

Matchory Bot蜘蛛/爬虫属于营销类型，由Matchory GmbH开发运行。您可以继续阅读下方信息，以深入了解Matchory Bot基本信息，用户代理和访问控制等。

如何做搜索引擎蜘蛛日志分析

搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。

什么是抓取预算（Crawl Budget）及如何最大化其利用价值

抓取预算（Crawl Budget），您又可以将之称为抓取频率、抓取量。这个量一般是由搜索引擎蜘蛛根据网站的质量度和权重给域名分配的。理解抓取预算的定义，重要性及最大化其效率，这有利于网站的索引、排名。

怎样才算有利于SEO的网站结构

众所周知，扁平且层级不超过三级的网站结构是最有利于搜索引擎蜘蛛爬取的。显浅的一句看似易懂但如深入，又未必是那么容易理解。下面我们将深入了解网站结构的定义，重要性及实践，以便于各位技术开发、站长和SEOer在未来的网站开发及运营中应用。

为什么要控制Googlebot抓取速度？

在本文中，我们将了解您为什么要控制Googlebot以及如何控制Googlebot和其他搜索引擎爬虫的抓取速度。

如何拦截Google和Bing访问您的网站？

在本文中，我们将解释如何屏蔽Googlebot和Bingbot，屏蔽爬虫后会发生什么以及出现爬取问题的常见原因。

Bing网站管理员工具Bingbot网站爬取频率设置

Bing网站管理员工具中的爬网空间功能允许网站管理员控制Bingbot抓取您的网站的速率。当您的网站上有访问者以适当地管理带宽时，需要进行爬网控制以限制Bingbot和Googlebot等搜索引擎蜘蛛的活动。

WordPress拦截IP地址的6种方法

当网站规模扩大时，您需要采取某些措施来限制来自评论垃圾邮件发送者、无效机器人和人类攻击者的流量。这对于保护您的服务器资源可用于真实用户以及您支付托管费用以获得真实访问者至关重要。在本文中，我们将解释在WordPress中拦截IP地址的6种方法。

如何禁止搜索引擎索引WordPress网站

您可能想要隐藏站点上的内容的原因有很多，但依靠“建议搜索引擎不索引本站点”选项并不是确保此类内容不被看到的最佳方法。除非您想在网络上隐藏您的整个网站，否则永远不要单击此选项，因为如果不小心切换，它会对您的SEO造成巨大损害。

HubSpot Crawler

基本信息

用户代理

访问控制

是否拦截HubSpot Crawler？

通过Robots.txt拦截

更多信息

站长工具

常见蜘蛛/爬虫

相关文章