注册
繁體
> 工具>蜘蛛查询工具

SEMrushBot

SEMrushBot蜘蛛/爬虫属于营销类型，由Semrush Inc开发运行。您可以继续阅读下方信息，以深入了解SEMrushBot基本信息，用户代理和访问控制等。

基本信息

SEMrushBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
SEMrushBot
类型
营销
开发商
Semrush Inc
当前状态
活动

用户代理

关于SEMrushBot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
SemrushBot/7~bl
  • SemrushBot/7~bl
  • SemrushBot-BA
  • SemrushBot-SI/0.97
  • SiteAuditBot/0.97
  • SemrushBot-SWA/0.1
  • SemrushBot-OCOB/1
  • BacklinksExtendedBot
  • SemrushBot-BM/1.0
  • SemrushBot-COUB/1
  • SiteAuditBot/0.97
  • SEMrushBot
  • SemrushBot/7~bl-slave
  • SemrushBot-SA/0.97
  • SemrushBot-SA/0.97
  • SemrushBot/1.0~bm
  • SemrushBot/6~bl
  • SemrushBot/6~bl
  • SemrushBot-LBT
  • SemrushBot/2~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/1.2~bl
  • SemrushBot/1.1~bl
  • SemrushBot/1-bl
  • SemrushBot/0.99
  • SemrushBot/0.98
  • SemrushBot/0.97
  • SemrushBot/0.97
  • SemrushBot/0.96.4
  • SemrushBot/0.96.3
  • SemrushBot/0.96.2
  • SemrushBot/0.95
  • SemrushBot/0.92
  • SemrushBot/0.91
  • SemrushBot
  • SemrushBot
  • SemrushBot/0.9
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
首次出现
2020-11-19 14:16:15
最后出现
2025-01-10 17:54:14
遵循robots.txt
未知
来源
IP地址(59) 服务器名称 所属国家
185.191.171.12 crawl12.bl.semrush.com MD
185.191.171.1 crawl1.bl.semrush.com MD
185.191.171.21 crawl21.bl.semrush.com MD
185.191.171.41 crawl35.bl.semrush.com MD
185.191.171.13 crawl13.bl.semrush.com MD
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-BA; +http://www.semrush.com/bot.html)
首次出现
2017-04-11 07:53:06
最后出现
2025-01-10 17:37:14
遵循robots.txt
未知
来源
IP地址(14) 服务器名称 所属国家
85.208.98.23 bot.semrush.com US
85.208.98.22 bot.semrush.com US
85.208.98.29 bot.semrush.com US
85.208.98.19 bot.semrush.com US
85.208.98.16 bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-SI/0.97; +http://www.semrush.com/bot.html)
首次出现
2015-11-04 08:30:00
最后出现
2025-01-09 14:07:43
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
85.208.98.53 85.208.98.53 US
103.136.251.75 103.136.251.75 HK
103.136.251.99 103.136.251.99 HK
85.208.98.40 bot.semrush.com US
213.174.147.83 213.174.147.83 US
用户代理字符串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2021-08-20 07:26:10
最后出现
2025-01-07 12:38:38
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.192 bot.semrush.com US
85.208.98.196 bot.semrush.com US
85.208.98.195 bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-SWA/0.1; +http://www.semrush.com/bot.html)
首次出现
2023-10-10 17:05:38
最后出现
2025-01-07 12:12:13
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
85.208.98.52 1.swa.bot.semrush.com US
85.208.98.55 bot.semrush.com US
85.208.98.57 bot.semrush.com US
85.208.98.56 bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-OCOB/1; +https://www.semrush.com/bot/)
首次出现
2024-09-17 15:29:43
最后出现
2024-09-17 15:30:14
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
85.208.98.56 bot.semrush.com US
用户代理字符串
BacklinksExtendedBot
首次出现
2024-07-07 05:08:59
最后出现
2024-08-25 05:33:56
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
185.170.167.18 ? GB
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-BM/1.0; +http://www.semrush.com/bot.html)
首次出现
2020-01-11 13:05:52
最后出现
2022-11-29 16:27:54
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
85.208.98.51 ? US
85.208.96.66 ? CY
85.208.96.68 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-COUB/1; +http://www.semrush.com/bot.html)
首次出现
2022-11-17 21:05:27
最后出现
2022-11-17 21:05:35
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
85.208.98.55 bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2021-08-20 07:26:10
最后出现
2022-09-04 21:33:56
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.194 bot.semrush.com US
85.208.98.197 bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.201 73.siteaudit.bot.semrush.com US
用户代理字符串
SEMrushBot
首次出现
2016-09-21 05:47:44
最后出现
2022-08-29 20:01:34
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
85.208.98.21 bot.semrush.com US
192.243.53.51 ? US
192.243.55.127 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/7~bl-slave; +http://www.semrush.com/bot.html)
首次出现
2022-01-02 19:08:34
最后出现
2022-07-17 20:01:47
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
143.198.177.229 143.198.177.229 US
147.182.180.253 taylorpublications.com US
137.184.49.240 137.184.49.240 US
147.182.177.169 147.182.177.169 US
85.208.96.45 85.208.96.45 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出现
2014-08-03 18:00:31
最后出现
2021-08-29 05:37:12
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
46.229.173.65 ? US
213.174.152.174 ? US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出现
2019-08-08 05:21:31
最后出现
2021-08-21 21:48:11
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1.0~bm; +http://www.semrush.com/bot.html)
首次出现
2018-04-16 05:44:31
最后出现
2020-09-21 13:51:21
遵循robots.txt
否
来源
IP地址(10) 服务器名称 所属国家
85.208.96.66 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
85.208.96.68 ? CY
85.208.96.69 ? CY
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出现
2019-06-20 06:51:49
最后出现
2020-05-11 17:04:20
遵循robots.txt
未知
来源
IP地址(22) 服务器名称 所属国家
185.191.171.41 185.191.171.41 MD
185.191.171.43 ? MD
185.191.171.39 185.191.171.39 MD
185.191.171.3 bot.semrush.com MD
185.191.171.13 bot.semrush.com MD
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出现
2019-06-20 06:51:49
最后出现
2020-05-11 17:04:20
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.153 crawl25.bl.semrush.com US
46.229.168.131 crawl3.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-LBT; +http://www.semrush.com/bot.html)
首次出现
2020-01-10 11:33:05
最后出现
2020-01-10 11:33:05
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
首次出现
2018-03-01 14:53:44
最后出现
2020-01-02 05:54:36
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
46.229.168.143 ? US
46.229.168.140 ? US
46.229.168.152 ? US
46.229.168.137 ? US
46.229.168.131 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出现
2018-12-12 16:37:59
最后出现
2019-08-21 15:19:04
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.132 crawl4.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.139 crawl11.bl.semrush.com US
46.229.168.161 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出现
2019-03-28 18:38:03
最后出现
2019-03-28 18:38:03
遵循robots.txt
未知
来源
IP地址(16) 服务器名称 所属国家
46.229.168.140 crawl12.bl.semrush.com US
46.229.168.154 crawl26.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.141 crawl13.bl.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出现
2019-03-28 18:38:03
最后出现
2019-03-28 18:38:03
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
194.36.110.216 194.36.110.216 GB
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
首次出现
2017-01-03 17:00:26
最后出现
2018-05-17 05:33:15
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
46.229.168.70 ? US
46.229.168.78 ? US
46.229.168.76 ? US
46.229.168.80 ? US
46.229.168.74 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)
首次出现
2016-05-04 08:17:00
最后出现
2017-01-13 09:58:04
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
46.229.164.100 ? US
46.229.168.67 ? US
46.229.168.68 ? US
46.229.168.69 ? US
46.229.168.70 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1~bl; +http://www.semrush.com/bot.html)
首次出现
2015-12-28 07:20:00
最后出现
2016-04-29 07:26:41
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
192.243.53.51 192.243.53.51 US
192.243.55.130 192.243.55.130 US
192.243.55.129 192.243.55.129 US
192.243.55.138 192.243.55.138 US
192.243.55.137 192.243.55.137 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.99~bl; +http://www.semrush.com/bot.html)
首次出现
2015-09-19 09:10:00
最后出现
2016-03-31 14:16:18
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
213.174.146.163 ? US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html)
首次出现
2014-10-18 09:00:00
最后出现
2015-06-24 22:30:39
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
46.229.164.114 46.229.164.114 US
46.229.164.113 46.229.164.113 US
46.229.164.115 46.229.164.115 US
46.229.164.112 46.229.164.112 US
46.229.164.111 46.229.164.111 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2013-08-30 08:15:00
最后出现
2014-04-16 07:06:53
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.164.98 46.229.164.98 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.102 46.229.164.102 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2013-08-30 08:15:00
最后出现
2014-04-16 07:06:53
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.96.4; +http://www.semrush.com/bot.html)
首次出现
2013-08-14 08:45:00
最后出现
2013-08-25 13:04:10
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.97 46.229.164.97 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.96.3; +http://www.semrush.com/bot.html)
首次出现
2013-06-14 08:40:00
最后出现
2013-07-28 12:49:44
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
46.229.164.97 46.229.164.97 US
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.96.2; +http://www.semrush.com/bot.html)
首次出现
2013-04-15 07:55:00
最后出现
2013-06-11 17:40:23
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.164.97 46.229.164.97 US
46.229.164.101 46.229.164.101 US
46.229.164.99 46.229.164.99 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.95; +http://www.semrush.com/bot.html)
首次出现
2012-09-16 09:15:00
最后出现
2013-03-14 14:39:36
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.161.138 46.229.161.138 US
46.229.161.136 46.229.161.136 US
46.229.164.103 46.229.164.103 US
46.229.164.97 46.229.164.97 US
46.229.161.132 46.229.161.132 US
用户代理字符串
SemrushBot/0.92
首次出现
2012-04-02 20:18:54
最后出现
2012-04-04 04:51:15
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
107.22.134.187 ec2-107-22-134-187.compute-1.amazonaws.com US
107.22.68.116 ec2-107-22-68-116.compute-1.amazonaws.com US
174.129.166.77 ec2-174-129-166-77.compute-1.amazonaws.com US
184.72.94.71 ec2-184-72-94-71.compute-1.amazonaws.com US
184.73.143.31 ec2-184-73-143-31.compute-1.amazonaws.com US
用户代理字符串
SemrushBot/0.91
首次出现
2012-02-28 21:56:46
最后出现
2012-03-08 19:26:14
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
107.21.149.52 ec2-107-21-149-52.compute-1.amazonaws.com US
107.21.155.119 ec2-107-21-155-119.compute-1.amazonaws.com US
107.22.128.82 ec2-107-22-128-82.compute-1.amazonaws.com US
184.72.140.220 ec2-184-72-140-220.compute-1.amazonaws.com US
184.72.187.47 ec2-184-72-187-47.compute-1.amazonaws.com US
用户代理字符串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出现
2012-02-20 12:24:18
最后出现
2012-02-20 15:10:44
遵循robots.txt
未知
来源
IP地址(19) 服务器名称 所属国家
85.208.98.18 bot.semrush.com US
85.208.98.25 bot.semrush.com US
85.208.98.48 85.208.98.48 US
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
用户代理字符串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出现
2012-02-20 12:24:18
最后出现
2012-02-20 15:10:44
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
184.72.181.183 ec2-184-72-181-183.compute-1.amazonaws.com US
184.73.13.192 ec2-184-73-13-192.compute-1.amazonaws.com US
184.73.142.88 ec2-184-73-142-88.compute-1.amazonaws.com US
184.73.58.164 ec2-184-73-58-164.compute-1.amazonaws.com US
204.236.243.108 ec2-204-236-243-108.compute-1.amazonaws.com US
用户代理字符串
SemrushBot/0.9
首次出现
2011-11-24 12:54:08
最后出现
2011-12-29 21:46:50
遵循robots.txt
未知
来源
IP地址(40) 服务器名称 所属国家
50.16.21.115 ec2-50-16-21-115.compute-1.amazonaws.com US
50.19.179.186 ec2-50-19-179-186.compute-1.amazonaws.com US
107.20.126.228 ec2-107-20-126-228.compute-1.amazonaws.com US
184.72.171.202 ec2-184-72-171-202.compute-1.amazonaws.com US
50.16.78.4 ec2-50-16-78-4.compute-1.amazonaws.com US

访问控制

了解如何控制SEMrushBot访问权限，避免SEMrushBot抓取行为不当。

是否拦截SEMrushBot？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SEMrushBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。 

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SEMrushBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

机器人，也称为网络机器人、网络蜘蛛或网络爬虫，是一种软件应用程序，旨在以比任何人都更有效、更有条理和更简洁的方式自动执行简单和重复的任务。

机器人最常见的用途是网络爬虫或网络爬行。

SemrushBot是Semrush发送的搜索机器人软件，用于发现和收集新的和更新的网络数据。

SemrushBot收集的数据用于：

  • 公共反向链接搜索引擎索引作为称为反向链接分析（链接网络图）的专用工具维护
  • 网站审核工具，用于分析页面 SEO、技术和可用性问题
  • 反向链接审核工具，有助于发现和清理个人资料中潜在危险的反向链接
  • 链接构建工具，可帮助您找到潜在客户，与他们联系并监控您新获得的反向链接
  • SEO写作助手工具，用于检查URL是否可访问
  • 用于索引和搜索文章的品牌监控工具
  • 内容分析器和帖子跟踪工具报告
  • 页面 SEO 检查器和 SEO 内容模板工具报告
  • 主题研究工具报告
  • SplitSignal工具可在您的网站上创建SEO A / B测试
  • 内容大纲构建器工具报告

SemrushBot如何抓取您的网站

SemrushBot的抓取过程从网页URL列表开始。当SemrushBot访问这些URL时，它会保存页面中的超链接以供进一步抓取。此列表也称为“爬行边界”，根据一组 Semrush 策略反复访问，以有效地映射站点以进行更新：内容更改、新页面和死链接。

如何拦截SemrushBot抓取您的网站

机器人会抓取您的网页以帮助解析您的网站内容，因此您网站中的相关信息很容易编入索引，并且更容易被搜索您提供的内容的用户使用。

尽管大多数机器人是无害的，甚至是非常有益的，但您可能仍然希望拦截它们抓取您的网站（但请注意，并非网络上的每个人都在使用机器人来帮助索引您的网站）。最简单快捷的方法是使用robots.txt文件。此文本文件包含有关机器人应如何处理站点数据的说明。

重要：robots.txt文件必须放在它适用的网站主机的顶部目录中。否则，它对SemrushBot行为没有影响。

要拦截SemrushBot抓取您的网站，请将以下规则添加到您的robots.txt文件中：

  • 要拦截SemrushBot抓取您的网站以获取链接的网络图，请执行以下操作： 
    User-agent: SemrushBot
Disallow: /

    SemrushBot for Backlink Analytics 还支持以下机器人的非标准扩展.txt：

    • 爬网延迟指令。Semrush的抓取工具在两次向网站发出请求之间最多可能需要 10 秒的间隔。更高的值将减少到此 10 秒限制。如果未指定抓取延迟，SemrushBot将根据当前服务器负载调整对站点的请求频率。
    • 通配符 （*） 的使用。

    重要细节：

    • 如果您有子域，则需要在每个子域上放置一个 robots.txt 文件。否则，SemrushBot 将不会处理您域中的任何其他文件，并会认为允许它抓取您子域上的所有内容。
    • robots.txt 文件必须始终返回 HTTP 200 状态代码。如果返回4xx状态代码，SemrushBot将假定不存在robots.txt.txt并且没有抓取限制。为您的robots.txt.txt文件返回 5xx 状态代码将拦截 SemrushBot 抓取您的整个网站。Semrush的爬虫可以处理robots.txt.txt具有 3xx 状态代码的文件。

请注意，SemrushBot 最多可能需要一小时或 100 个请求才能发现对您的机器人所做的更改.txt。

  • 要拦截SemrushBot抓取您的网站以解决不同的SEO和技术问题： 
    User-agent: SiteAuditBot
Disallow: /
  • 要拦截SemrushBot抓取您的网站以进行反向链接审核工具： 
    User-agent: SemrushBot-BA
Disallow: /
  • 要拦截SemrushBot抓取您的网站以获取页面SEO检查器工具和类似工具： 
    User-agent: SemrushBot-SI
Disallow: /
  • 要拦截SemrushBot检查您网站上的网址以获取SWA工具，请执行以下操作： 
    User-agent: SemrushBot-SWA
Disallow: /
  • 要拦截SemrushBot对内容分析器和帖子跟踪工具的网站进行爬网，请执行以下操作： 
    User-agent: SemrushBot-CT
Disallow: /
  • 要拦截SemrushBot抓取您的网站以进行品牌监控： 
    User-agent: SemrushBot-BM
Disallow: /
  • 要拦截 SplitSignalBot 抓取您的网站以获取 SplitSignal 工具，请执行以下操作： 
    User-agent: SplitSignalBot
Disallow: /
  • 要拦截SemrushBot-COUB抓取内容大纲生成器工具的网站： 
    User-agent: SemrushBot-COUB
Disallow: /

要防止 Web 浏览器服务器日志中出现“找不到文件”错误消息，请创建一个空的“robots.txt”文件。

不要尝试通过IP拦截SemrushBot，因为Semrush不使用任何连续的IP块。

常见问题

  • 为什么Semrush尝试抓取不存在或具有奇怪URL参数的页面？
    通常，如果SemrushBot检测到您网站上不存在的页面，它将停止抓取它们。但是，如果网络上的其他网站链接到该网页，Semrush的抓取工具可能会继续查找该网页，该网页将不再存在。
  • 为什么SemrushBot尝试登录，尝试不同的密码并提交调查表？
    这是因为您的登录名或调查表单是使用 GET 方法提交的。输入数据将成为请求的 URL 的一部分，任何知道该 URL 的人都可以访问，包括Semrush的抓取工具。虽然Semrush试图省略此类表单，但Semrush建议您将表单方法切换为 POST。
  • SemrushBot在Semrush进行站点迁移后不服从Semrush的robots.txt命令。
    如果要迁移网站（例如，从HTTP迁移到HTTPS），请不要忘记迁移robots.txt文件。

有关机器人的更多信息

有关机器人的更多信息，请参阅 https://www.robotstxt.org/.

获得支持

如果您对SemrushBot有任何疑问，请通过 bot@semrush.com 与Semrush联系，Semrush将尽快回复。

SemrushBot需要一些时间来发现robots.txt文件中的变化。但是，如果您认为它长期以来一直忽略您的“robots.txt”规则，请向Semrush提供您的网站URL，显示SemrushBot抓取不应该抓取的页面的日志条目，Semrush将迅速解决问题。

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
RidderBot
RidderBot蜘蛛/爬虫属于营销类型，由Ridder开发运行。您可以继续阅读下方信息，以深入了解RidderBot基本信息，用户代理和访问控制等。
Upsales bot
Upsales bot蜘蛛/爬虫属于营销类型，由Upsales Nordic AB开发运行。您可以继续阅读下方信息，以深入了解Upsales bot基本信息，用户代理和访问控制等。
HealRWorld
HealRWorld蜘蛛/爬虫属于营销类型，由HealRWorld LLC.开发运行。您可以继续阅读下方信息，以深入了解HealRWorld基本信息，用户代理和访问控制等。
Scope3
Scope3蜘蛛/爬虫属于营销类型，由Scope3, PBC.开发运行。您可以继续阅读下方信息，以深入了解Scope3基本信息，用户代理和访问控制等。
MercuryLeads/1.0
MercuryLeads/1.0蜘蛛/爬虫属于营销类型，由Mercury Leads开发运行。您可以继续阅读下方信息，以深入了解MercuryLeads/1.0基本信息，用户代理和访问控制等。
mediaboardbot
mediaboardbot蜘蛛/爬虫属于营销类型，由Mediaboard s.r.o.开发运行。您可以继续阅读下方信息，以深入了解mediaboardbot基本信息，用户代理和访问控制等。
HaloScan bot
HaloScan bot蜘蛛/爬虫属于营销类型，由ARCHI301开发运行。您可以继续阅读下方信息，以深入了解HaloScan bot基本信息，用户代理和访问控制等。
Matchory Bot
Matchory Bot蜘蛛/爬虫属于营销类型，由Matchory GmbH开发运行。您可以继续阅读下方信息，以深入了解Matchory Bot基本信息，用户代理和访问控制等。

相关文章

Related Articles