註冊
简体
> 工具>蜘蛛查詢工具

HubSpot Crawler

HubSpot Crawler蜘蛛/爬蟲屬於營銷型別，由HubSpot Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解HubSpot Crawler基本資訊，使用者代理和訪問控制等。

基本資訊

HubSpot Crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
HubSpot Crawler
型別
營銷
開發商
HubSpot Inc.
當前狀態
活動

使用者代理

關於HubSpot Crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
HubSpot Domain check
  • HubSpot Domain check
  • HubSpot Url validation check
  • HubSpot Connect 2.0
  • HubSpot Crawler
  • hubspot crawler
  • HubSpot Connect 2.0
  • HubSpot Connect 2.0
  • HubSpot Connect 2.0
  • HubSpot Links Crawler 2.0
  • HubSpot Single Page link check
  • HubSpot Connect 2.0
  • HubSpot Crawler
  • HubSpot Crawler
  • HubSpot Website Grader
  • HubSpot Connect 2.0
  • HubSpot Connect 2.0
  • HubSpot Marketing Grader
  • HubSpot Marketing Grader
  • HubSpot Webcrawler
  • HubSpot Webcrawler
  • HubSpot Marketing Grader
  • HubSpot Links Crawler 1.0
  • HubSpot Crawler 1.0
  • Hubspot Biden Image Utils
  • HubSpot Marketing Grader
  • HubSpot Connect 1.0
使用者代理字串
Mozilla/5.0 (compatible; HubSpot Crawler; HubSpot Domain check; +https://www.hubspot.com)
首次出現
2023-12-26 15:46:33
最後出現
2025-01-04 10:15:51
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
54.174.58.242 54.174.58.242 US
54.174.58.228 54.174.58.228 US
54.174.58.243 54.174.58.243 US
54.174.58.253 54.174.58.253 US
54.174.58.250 54.174.58.250 US
54.174.58.233 54.174.58.233 US
54.174.58.232 54.174.58.232 US
54.174.58.241 54.174.58.241 US
54.174.58.252 54.174.58.252 US
54.174.58.246 54.174.58.246 US
54.174.58.245 54.174.58.245 US
54.174.58.254 54.174.58.254 US
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64; HubSpot Url validation check; web-crawlers+url-validation@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36
首次出現
2019-08-14 03:48:31
最後出現
2022-05-01 17:31:36
遵循robots.txt
未知
來源
IP地址(21) 伺服器名稱 所屬國家
54.174.53.145 54.174.53.145 US
54.174.55.37 54.174.55.37 US
54.174.58.106 54.174.58.106 US
54.174.53.87 54.174.53.87 US
54.174.55.207 54.174.55.207 US
54.174.54.88 54.174.54.88 US
54.174.54.65 54.174.54.65 US
54.174.56.29 54.174.56.29 US
54.174.54.140 54.174.54.140 US
54.174.55.244 54.174.55.244 US
54.174.53.35 54.174.53.35 US
54.174.54.46 54.174.54.46 US
使用者代理字串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompanies-Tq2-BizCoDomainValidationAudit
首次出現
2019-10-20 01:16:45
最後出現
2022-03-29 18:15:35
遵循robots.txt
未知
來源
IP地址(61) 伺服器名稱 所屬國家
54.174.53.77 54.174.53.77 US
54.174.54.217 54.174.54.217 US
54.174.55.158 54.174.55.158 US
54.174.54.97 54.174.54.97 US
54.174.54.127 54.174.54.127 US
54.174.53.186 54.174.53.186 US
54.174.54.238 54.174.54.238 US
54.174.54.144 54.174.54.144 US
54.174.53.75 54.174.53.75 US
54.174.53.45 54.174.53.45 US
使用者代理字串
Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com)
首次出現
2019-05-19 12:56:53
最後出現
2020-10-07 19:31:54
遵循robots.txt
未知
來源
IP地址(34) 伺服器名稱 所屬國家
54.174.58.252 54.174.58.252 US
54.174.58.239 54.174.58.239 US
54.174.58.248 54.174.58.248 US
54.174.55.147 54.174.55.147 US
54.174.55.170 54.174.55.170 US
54.174.55.162 54.174.55.162 US
54.174.55.157 54.174.55.157 US
54.174.55.152 54.174.55.152 US
54.174.55.167 54.174.55.167 US
54.174.55.137 54.174.55.137 US
使用者代理字串
mozilla/5.0 (compatible; hubspot crawler; web-crawlers@hubspot.com; +@operator_contact_url@)
首次出現
2019-08-27 00:15:44
最後出現
2020-09-29 14:25:33
遵循robots.txt
未知
來源
IP地址(60) 伺服器名稱 所屬國家
54.174.58.121 ? US
54.174.54.196 ? US
54.174.56.162 ? US
54.174.53.204 ? US
54.174.54.137 ? US
54.174.55.16 ? US
54.174.53.23 ? US
54.174.53.190 ? US
54.174.55.81 ? US
54.174.55.228 ? US
使用者代理字串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesOneOffJobs-DomainStatusNioHttpClientStatsJob
首次出現
2020-07-02 06:48:55
最後出現
2020-07-02 06:48:55
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.174.56.146 54.174.56.146 US
使用者代理字串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - contentfilemanagerapiwebinternal-web
首次出現
2020-04-24 09:44:33
最後出現
2020-05-13 12:24:16
遵循robots.txt
未知
來源
IP地址(7) 伺服器名稱 所屬國家
54.174.54.170 54.174.54.170 US
54.174.54.45 54.174.54.45 US
54.174.53.168 54.174.53.168 US
54.174.55.76 54.174.55.76 US
54.174.55.187 54.174.55.187 US
54.174.53.132 54.174.53.132 US
54.174.53.183 54.174.53.183 US
使用者代理字串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesKafka-BizCoDomainValidation
首次出現
2020-02-11 09:35:57
最後出現
2020-02-11 09:35:57
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.174.54.138 54.174.54.138 US
使用者代理字串
HubSpot Links Crawler 2.0 http://www.hubspot.com/
首次出現
2016-06-27 07:55:00
最後出現
2020-02-07 02:11:12
遵循robots.txt
未知
來源
IP地址(148) 伺服器名稱 所屬國家
54.174.54.113 ? US
54.174.56.108 ? US
54.174.56.189 ? US
54.174.56.113 ? US
54.174.53.145 ? US
54.174.55.56 ? US
54.174.54.176 ? US
54.174.54.32 ? US
54.174.55.11 ? US
54.174.54.168 ? US
使用者代理字串
Mozilla/5.0 (X11; Linux x86_64; HubSpot Single Page link check; web-crawlers+links@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36
首次出現
2018-11-14 23:16:52
最後出現
2020-02-06 13:39:17
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
54.174.55.122 ? US
54.174.55.125 ? US
54.174.55.129 ? US
54.174.54.174 ? US
54.174.54.69 ? US
54.174.55.124 ? US
54.174.53.64 ? US
54.174.55.127 ? US
54.174.55.121 ? US
54.174.55.123 54.174.55.123 US
使用者代理字串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - UrlBlacklistsKafkaWorkers-urlchecksworker
首次出現
2017-03-02 08:50:51
最後出現
2019-04-04 08:04:57
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
54.174.55.64 ? US
54.174.53.243 ? US
54.174.53.15 ec2-54-174-53-15.compute-1.amazonaws.com US
54.174.60.71 ec2-54-174-60-71.compute-1.amazonaws.com US
54.174.61.21 ec2-54-174-61-21.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)
首次出現
2019-03-04 04:53:15
最後出現
2019-03-04 04:53:15
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.174.58.255 54.174.58.255 US
54.174.58.232 54.174.58.232 US
54.174.58.244 54.174.58.244 US
54.174.58.241 54.174.58.241 US
54.174.58.179 ? US
54.174.58.242 54.174.58.242 US
54.174.58.245 54.174.58.245 US
54.174.58.249 54.174.58.249 US
54.174.58.250 54.174.58.250 US
54.174.53.149 ? US
54.174.58.252 54.174.58.252 US
54.174.58.248 54.174.58.248 US
54.174.58.231 54.174.58.231 US
54.174.58.238 54.174.58.238 US
54.174.58.251 54.174.58.251 US
54.174.58.229 54.174.58.229 US
54.174.58.239 54.174.58.239 US
54.174.55.147 54.174.55.147 US
54.174.55.170 54.174.55.170 US
54.174.55.162 54.174.55.162 US
54.174.55.157 54.174.55.157 US
54.174.55.152 54.174.55.152 US
54.174.55.167 54.174.55.167 US
54.174.55.137 54.174.55.137 US
54.174.58.121 ? US
54.174.54.196 ? US
54.174.56.162 ? US
54.174.53.204 ? US
54.174.54.137 ? US
54.174.55.16 ? US
54.174.53.23 ? US
54.174.53.190 ? US
54.174.55.81 ? US
54.174.55.228 ? US
54.174.55.123 54.174.55.123 US
54.174.58.247 54.174.58.247 US
54.174.58.226 54.174.58.226 US
54.174.58.253 54.174.58.253 US
54.174.58.254 54.174.58.254 US
54.174.58.228 54.174.58.228 US
54.174.58.235 54.174.58.235 US
54.174.58.236 54.174.58.236 US
54.174.58.227 54.174.58.227 US
54.174.58.233 54.174.58.233 US
54.174.58.243 54.174.58.243 US
54.174.58.224 54.174.58.224 US
54.174.53.123 54.174.53.123 US
54.174.53.195 54.174.53.195 US
54.174.53.17 54.174.53.17 US
54.174.53.220 54.174.53.220 US
54.174.53.176 ? US
54.174.53.125 54.174.53.125 US
54.174.54.149 54.174.54.149 US
使用者代理字串
Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)
首次出現
2019-03-04 04:53:15
最後出現
2019-03-04 04:53:15
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.174.55.123 54.174.55.123 US
使用者代理字串
Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_1_1 like Mac OS X; en) AppleWebKit/534.46.0 (KHTML, like Gecko) CriOS/19.0.1084.60 Mobile/9B206 Safari/7534.48.3 HubSpot Website Grader (web-crawlers@hubspot.com)
首次出現
2016-12-11 07:38:04
最後出現
2016-12-11 07:38:04
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.174.56.141 ec2-54-174-56-141.compute-1.amazonaws.com US
54.174.61.68 ec2-54-174-61-68.compute-1.amazonaws.com US
54.174.61.37 pgg3uf.pgg3uf.cs.hubspotemail.net US
使用者代理字串
HubSpot Connect 2.0 (http://dev.hubspot.com/)
首次出現
2016-01-02 22:50:00
最後出現
2016-05-25 15:14:46
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
54.174.55.6 54.174.55.6 US
54.174.53.40 54.174.53.40 US
54.174.54.212 54.174.54.212 US
54.174.56.37 54.174.56.37 US
54.174.53.92 54.174.53.92 US
54.174.53.215 54.174.53.215 US
54.174.56.7 54.174.56.7 US
54.174.55.204 54.174.55.204 US
54.174.53.77 54.174.53.77 US
54.174.54.217 54.174.54.217 US
54.174.55.158 54.174.55.158 US
54.174.54.97 54.174.54.97 US
54.174.54.127 54.174.54.127 US
54.174.53.186 54.174.53.186 US
54.174.54.238 54.174.54.238 US
54.174.54.144 54.174.54.144 US
54.174.53.75 54.174.53.75 US
54.174.53.45 54.174.53.45 US
54.174.56.146 54.174.56.146 US
54.174.54.170 54.174.54.170 US
54.174.54.45 54.174.54.45 US
54.174.53.168 54.174.53.168 US
54.174.55.76 54.174.55.76 US
54.174.55.187 54.174.55.187 US
54.174.53.132 54.174.53.132 US
54.174.53.183 54.174.53.183 US
54.174.54.138 54.174.54.138 US
54.174.55.64 ? US
54.174.53.243 ? US
54.174.53.15 ec2-54-174-53-15.compute-1.amazonaws.com US
54.174.60.71 ec2-54-174-60-71.compute-1.amazonaws.com US
54.174.61.21 ec2-54-174-61-21.compute-1.amazonaws.com US
54.174.58.163 ec2-54-174-58-163.compute-1.amazonaws.com US
54.174.57.129 ec2-54-174-57-129.compute-1.amazonaws.com US
54.174.60.47 ec2-54-174-60-47.compute-1.amazonaws.com US
54.174.62.159 54.174.62.159 US
54.174.62.165 ? US
54.174.62.179 ? US
54.174.58.249 54.174.58.249 US
54.174.58.252 54.174.58.252 US
54.174.62.157 ? US
54.174.62.138 ? US
54.174.62.184 ? US
54.174.62.181 ? US
54.174.62.180 ? US
使用者代理字串
HubSpot Connect 2.0 (http://dev.hubspot.com/)
首次出現
2016-01-02 22:50:00
最後出現
2016-05-25 15:14:46
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
54.174.58.163 ec2-54-174-58-163.compute-1.amazonaws.com US
54.174.57.129 ec2-54-174-57-129.compute-1.amazonaws.com US
54.174.60.47 ec2-54-174-60-47.compute-1.amazonaws.com US
使用者代理字串
HubSpot Marketing Grader, HubSpot Marketing Grader
首次出現
2016-02-27 17:19:19
最後出現
2016-02-27 17:19:19
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
54.174.57.19 ec2-54-174-57-19.compute-1.amazonaws.com US
54.174.60.170 ec2-54-174-60-170.compute-1.amazonaws.com US
使用者代理字串
HubSpot Marketing Grader
首次出現
2015-08-23 10:35:36
最後出現
2016-02-27 17:19:04
遵循robots.txt
未知
來源
IP地址(13) 伺服器名稱 所屬國家
54.174.57.19 ec2-54-174-57-19.compute-1.amazonaws.com US
54.174.60.170 ec2-54-174-60-170.compute-1.amazonaws.com US
54.174.54.169 ec2-54-174-54-169.compute-1.amazonaws.com US
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.60.191 ec2-54-174-60-191.compute-1.amazonaws.com US
54.174.56.206 ec2-54-174-56-206.compute-1.amazonaws.com US
54.174.54.26 ec2-54-174-54-26.compute-1.amazonaws.com US
54.174.56.69 ec2-54-174-56-69.compute-1.amazonaws.com US
54.174.59.82 ec2-54-174-59-82.compute-1.amazonaws.com US
54.174.60.81 ec2-54-174-60-81.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler
首次出現
2015-12-15 08:40:00
最後出現
2016-02-16 08:07:50
遵循robots.txt
未知
來源
IP地址(46) 伺服器名稱 所屬國家
54.174.54.145 ? US
54.174.55.122 ? US
54.174.55.121 ? US
54.174.55.116 ? US
54.174.55.124 ? US
54.174.54.69 ? US
54.174.55.129 ? US
54.174.54.174 ? US
54.174.55.123 ? US
54.174.55.125 ? US
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.53.13 ec2-54-174-53-13.compute-1.amazonaws.com US
54.174.61.68 ec2-54-174-61-68.compute-1.amazonaws.com US
54.174.58.186 ec2-54-174-58-186.compute-1.amazonaws.com US
54.174.58.237 ec2-54-174-58-237.compute-1.amazonaws.com US
54.167.38.41 ec2-54-167-38-41.compute-1.amazonaws.com US
54.205.112.217 ec2-54-205-112-217.compute-1.amazonaws.com US
54.204.188.13 ec2-54-204-188-13.compute-1.amazonaws.com US
184.72.145.44 ec2-184-72-145-44.compute-1.amazonaws.com US
23.22.145.240 ec2-23-22-145-240.compute-1.amazonaws.com US
54.174.56.7 54.174.56.7 US
使用者代理字串
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler
首次出現
2015-12-15 08:40:00
最後出現
2016-02-16 08:07:50
遵循robots.txt
未知
來源
IP地址(46) 伺服器名稱 所屬國家
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.53.13 ec2-54-174-53-13.compute-1.amazonaws.com US
54.174.61.68 ec2-54-174-61-68.compute-1.amazonaws.com US
54.174.58.186 ec2-54-174-58-186.compute-1.amazonaws.com US
54.174.58.237 ec2-54-174-58-237.compute-1.amazonaws.com US
54.167.38.41 ec2-54-167-38-41.compute-1.amazonaws.com US
54.205.112.217 ec2-54-205-112-217.compute-1.amazonaws.com US
54.204.188.13 ec2-54-204-188-13.compute-1.amazonaws.com US
184.72.145.44 ec2-184-72-145-44.compute-1.amazonaws.com US
23.22.145.240 ec2-23-22-145-240.compute-1.amazonaws.com US
使用者代理字串
com.hubspot.spooks.core.UserAgent@753535c0, HubSpot Marketing Grader
首次出現
2016-02-11 11:18:39
最後出現
2016-02-11 11:18:39
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.174.54.169 ec2-54-174-54-169.compute-1.amazonaws.com US
使用者代理字串
HubSpot Links Crawler 1.0 http://www.hubspot.com/
首次出現
2015-01-06 08:15:00
最後出現
2015-01-14 07:15:13
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
54.196.253.164 ec2-54-196-253-164.compute-1.amazonaws.com US
54.87.101.152 ec2-54-87-101-152.compute-1.amazonaws.com US
使用者代理字串
HubSpot Crawler 1.0 http://www.hubspot.com/
首次出現
2014-06-06 07:00:00
最後出現
2014-10-16 14:09:46
遵循robots.txt
未知
來源
IP地址(28) 伺服器名稱 所屬國家
54.80.230.99 ec2-54-80-230-99.compute-1.amazonaws.com US
54.224.136.90 ec2-54-224-136-90.compute-1.amazonaws.com US
54.198.244.58 ec2-54-198-244-58.compute-1.amazonaws.com US
54.87.176.98 ec2-54-87-176-98.compute-1.amazonaws.com US
54.198.237.208 ec2-54-198-237-208.compute-1.amazonaws.com US
54.87.169.26 ec2-54-87-169-26.compute-1.amazonaws.com US
54.80.106.255 ec2-54-80-106-255.compute-1.amazonaws.com US
54.81.145.231 ec2-54-81-145-231.compute-1.amazonaws.com US
23.22.48.199 ec2-23-22-48-199.compute-1.amazonaws.com US
54.221.55.87 ec2-54-221-55-87.compute-1.amazonaws.com US
54.211.221.7 ec2-54-211-221-7.compute-1.amazonaws.com US
54.81.49.186 ec2-54-81-49-186.compute-1.amazonaws.com US
54.221.24.202 ec2-54-221-24-202.compute-1.amazonaws.com US
54.205.188.132 ec2-54-205-188-132.compute-1.amazonaws.com US
54.80.69.167 ec2-54-80-69-167.compute-1.amazonaws.com US
54.81.144.134 ec2-54-81-144-134.compute-1.amazonaws.com US
54.224.219.39 ec2-54-224-219-39.compute-1.amazonaws.com US
54.80.118.89 ec2-54-80-118-89.compute-1.amazonaws.com US
54.81.26.160 ec2-54-81-26-160.compute-1.amazonaws.com US
107.21.150.151 ec2-107-21-150-151.compute-1.amazonaws.com US
23.22.136.88 ec2-23-22-136-88.compute-1.amazonaws.com US
50.16.2.31 ec2-50-16-2-31.compute-1.amazonaws.com US
54.83.177.222 ec2-54-83-177-222.compute-1.amazonaws.com US
54.81.144.250 ec2-54-81-144-250.compute-1.amazonaws.com US
50.17.16.1 ec2-50-17-16-1.compute-1.amazonaws.com US
54.221.38.150 ec2-54-221-38-150.compute-1.amazonaws.com US
54.211.185.234 ec2-54-211-185-234.compute-1.amazonaws.com US
54.205.193.151 ec2-54-205-193-151.compute-1.amazonaws.com US
使用者代理字串
Hubspot Biden Image Utils
首次出現
2014-08-28 21:08:37
最後出現
2014-08-28 21:08:37
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.226.42.23 ec2-54-226-42-23.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (iPhone; CPU iPhone OS 5_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9B179 Safari/7534.48.3 HubSpot Marketing Grader
首次出現
2014-06-01 21:38:05
最後出現
2014-06-01 21:38:05
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.174.55.145 54.174.55.145 US
54.174.55.147 54.174.55.147 US
54.174.55.137 54.174.55.137 US
54.174.54.149 54.174.54.149 US
54.174.55.17 54.174.55.17 US
54.174.55.166 54.174.55.166 US
54.174.55.162 54.174.55.162 US
54.174.55.136 54.174.55.136 US
54.174.55.170 54.174.55.170 US
54.174.55.152 54.174.55.152 US
54.174.57.19 ec2-54-174-57-19.compute-1.amazonaws.com US
54.174.60.170 ec2-54-174-60-170.compute-1.amazonaws.com US
54.174.54.169 ec2-54-174-54-169.compute-1.amazonaws.com US
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.60.191 ec2-54-174-60-191.compute-1.amazonaws.com US
54.174.56.206 ec2-54-174-56-206.compute-1.amazonaws.com US
54.174.54.26 ec2-54-174-54-26.compute-1.amazonaws.com US
54.174.56.69 ec2-54-174-56-69.compute-1.amazonaws.com US
54.174.59.82 ec2-54-174-59-82.compute-1.amazonaws.com US
54.174.60.81 ec2-54-174-60-81.compute-1.amazonaws.com US
75.101.186.240 ec2-75-101-186-240.compute-1.amazonaws.com US
使用者代理字串
HubSpot Connect 1.0 (http://dev.hubspot.com/)
首次出現
2012-10-21 00:30:00
最後出現
2014-04-23 07:40:57
遵循robots.txt
未知
來源
IP地址(27) 伺服器名稱 所屬國家
174.129.80.74 ec2-174-129-80-74.compute-1.amazonaws.com US
50.16.54.204 ec2-50-16-54-204.compute-1.amazonaws.com US
75.101.191.166 ec2-75-101-191-166.compute-1.amazonaws.com US
184.72.184.167 ec2-184-72-184-167.compute-1.amazonaws.com US
50.17.23.45 ec2-50-17-23-45.compute-1.amazonaws.com US
23.20.228.218 ec2-23-20-228-218.compute-1.amazonaws.com US
50.19.171.92 ec2-50-19-171-92.compute-1.amazonaws.com US
23.20.81.60 ec2-23-20-81-60.compute-1.amazonaws.com US
54.196.59.44 ec2-54-196-59-44.compute-1.amazonaws.com US
23.22.146.146 ec2-23-22-146-146.compute-1.amazonaws.com US
54.204.106.31 ec2-54-204-106-31.compute-1.amazonaws.com US
23.22.197.125 ec2-23-22-197-125.compute-1.amazonaws.com US
54.211.185.234 ec2-54-211-185-234.compute-1.amazonaws.com US
23.22.233.99 ec2-23-22-233-99.compute-1.amazonaws.com US
54.226.131.113 ec2-54-226-131-113.compute-1.amazonaws.com US
107.20.88.140 ec2-107-20-88-140.compute-1.amazonaws.com US
23.22.241.89 ec2-23-22-241-89.compute-1.amazonaws.com US
54.226.17.248 ec2-54-226-17-248.compute-1.amazonaws.com US
107.21.81.227 ec2-107-21-81-227.compute-1.amazonaws.com US
23.22.75.111 ec2-23-22-75-111.compute-1.amazonaws.com US
67.202.4.105 ec2-67-202-4-105.compute-1.amazonaws.com US
107.22.137.5 ec2-107-22-137-5.compute-1.amazonaws.com US
23.23.60.241 ec2-23-23-60-241.compute-1.amazonaws.com US
72.44.35.198 ec2-72-44-35-198.compute-1.amazonaws.com US
107.22.144.50 ec2-107-22-144-50.compute-1.amazonaws.com US
50.16.146.15 ec2-50-16-146-15.compute-1.amazonaws.com US
72.44.53.168 ec2-72-44-53-168.compute-1.amazonaws.com US

訪問控制

瞭解如何控制HubSpot Crawler訪問許可權，避免HubSpot Crawler抓取行為不當。

是否攔截HubSpot Crawler？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 HubSpot Crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: HubSpot Crawler
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: HubSpot Crawler Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: HubSpot Crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

HubSpot使用網路爬蟲為您在HubSpot的分析工具中提供最新的實時資訊，並顯示您頁面的實時預覽。

如果您使用第三方分析軟體，如谷歌分析，您的分析資料可能包括來自HubSpot爬蟲的訪問。

請注意：任何HubSpot分析（如流量分析工具中的資料）已經排除了來自HubSpot爬蟲的訪問。

要想對您的分析資料有一個更清晰的瞭解，您可以過濾掉來自HubSpot爬蟲的訪問。用於HubSpot爬蟲的域名的一個例子是hs-sites.origin.hubspot.net。您的第三方分析軟體也應該能夠識別其他爬蟲的域名。

排除特定域名的步驟取決於您使用的軟體。如果你使用的是谷歌分析，這個文件可能有助於你設定一個過濾器來排除某些域名。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
Matchory Bot
Matchory Bot蜘蛛/爬蟲屬於營銷型別，由Matchory GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解Matchory Bot基本資訊，使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解GoogleBot基本資訊，使用者代理和訪問控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬蟲屬於監控型別，由AITIS s.r.o.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Online Domain Tools基本資訊，使用者代理和訪問控制等。
AhrefsBot
AhrefsBot蜘蛛/爬蟲屬於營銷型別，由Ahrefs Pte Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解AhrefsBot基本資訊，使用者代理和訪問控制等。
SEMrushBot
SEMrushBot蜘蛛/爬蟲屬於營銷型別，由Semrush Inc開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEMrushBot基本資訊，使用者代理和訪問控制等。
DotBot
DotBot蜘蛛/爬蟲屬於營銷型別，由SEOmoz, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解DotBot基本資訊，使用者代理和訪問控制等。
SentiBot
SentiBot蜘蛛/爬蟲屬於營銷型別，由SentiOne開發執行。您可以繼續閱讀下方資訊，以深入瞭解SentiBot基本資訊，使用者代理和訪問控制等。
Awario crawler
Awario crawler蜘蛛/爬蟲屬於營銷型別，由Link-Assistant.Com開發執行。您可以繼續閱讀下方資訊，以深入瞭解Awario crawler基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles