註冊
简体
> 工具>蜘蛛查詢工具

SEMrushBot

SEMrushBot蜘蛛/爬蟲屬於營銷型別，由Semrush Inc開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEMrushBot基本資訊，使用者代理和訪問控制等。

基本資訊

SEMrushBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
SEMrushBot
型別
營銷
開發商
Semrush Inc
當前狀態
活動

使用者代理

關於SEMrushBot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
SemrushBot/7~bl
  • SemrushBot/7~bl
  • SemrushBot-BA
  • SemrushBot-SI/0.97
  • SiteAuditBot/0.97
  • SemrushBot-SWA/0.1
  • SemrushBot-OCOB/1
  • BacklinksExtendedBot
  • SemrushBot-BM/1.0
  • SemrushBot-COUB/1
  • SiteAuditBot/0.97
  • SEMrushBot
  • SemrushBot/7~bl-slave
  • SemrushBot-SA/0.97
  • SemrushBot-SA/0.97
  • SemrushBot/1.0~bm
  • SemrushBot/6~bl
  • SemrushBot/6~bl
  • SemrushBot-LBT
  • SemrushBot/2~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/1.2~bl
  • SemrushBot/1.1~bl
  • SemrushBot/1-bl
  • SemrushBot/0.99
  • SemrushBot/0.98
  • SemrushBot/0.97
  • SemrushBot/0.97
  • SemrushBot/0.96.4
  • SemrushBot/0.96.3
  • SemrushBot/0.96.2
  • SemrushBot/0.95
  • SemrushBot/0.92
  • SemrushBot/0.91
  • SemrushBot
  • SemrushBot
  • SemrushBot/0.9
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
首次出現
2020-11-19 14:16:15
最後出現
2025-01-10 17:54:14
遵循robots.txt
未知
來源
IP地址(59) 伺服器名稱 所屬國家
185.191.171.12 crawl12.bl.semrush.com MD
185.191.171.1 crawl1.bl.semrush.com MD
185.191.171.21 crawl21.bl.semrush.com MD
185.191.171.41 crawl35.bl.semrush.com MD
185.191.171.13 crawl13.bl.semrush.com MD
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-BA; +http://www.semrush.com/bot.html)
首次出現
2017-04-11 07:53:06
最後出現
2025-01-10 17:37:14
遵循robots.txt
未知
來源
IP地址(14) 伺服器名稱 所屬國家
85.208.98.23 bot.semrush.com US
85.208.98.22 bot.semrush.com US
85.208.98.29 bot.semrush.com US
85.208.98.19 bot.semrush.com US
85.208.98.16 bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-SI/0.97; +http://www.semrush.com/bot.html)
首次出現
2015-11-04 08:30:00
最後出現
2025-01-09 14:07:43
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
85.208.98.53 85.208.98.53 US
103.136.251.75 103.136.251.75 HK
103.136.251.99 103.136.251.99 HK
85.208.98.40 bot.semrush.com US
213.174.147.83 213.174.147.83 US
使用者代理字串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2021-08-20 07:26:10
最後出現
2025-01-07 12:38:38
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.192 bot.semrush.com US
85.208.98.196 bot.semrush.com US
85.208.98.195 bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-SWA/0.1; +http://www.semrush.com/bot.html)
首次出現
2023-10-10 17:05:38
最後出現
2025-01-07 12:12:13
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
85.208.98.52 1.swa.bot.semrush.com US
85.208.98.55 bot.semrush.com US
85.208.98.57 bot.semrush.com US
85.208.98.56 bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-OCOB/1; +https://www.semrush.com/bot/)
首次出現
2024-09-17 15:29:43
最後出現
2024-09-17 15:30:14
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
85.208.98.56 bot.semrush.com US
使用者代理字串
BacklinksExtendedBot
首次出現
2024-07-07 05:08:59
最後出現
2024-08-25 05:33:56
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
185.170.167.18 ? GB
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-BM/1.0; +http://www.semrush.com/bot.html)
首次出現
2020-01-11 13:05:52
最後出現
2022-11-29 16:27:54
遵循robots.txt
未知
來源
IP地址(9) 伺服器名稱 所屬國家
85.208.98.51 ? US
85.208.96.66 ? CY
85.208.96.68 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-COUB/1; +http://www.semrush.com/bot.html)
首次出現
2022-11-17 21:05:27
最後出現
2022-11-17 21:05:35
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
85.208.98.55 bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2021-08-20 07:26:10
最後出現
2022-09-04 21:33:56
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.194 bot.semrush.com US
85.208.98.197 bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.201 73.siteaudit.bot.semrush.com US
使用者代理字串
SEMrushBot
首次出現
2016-09-21 05:47:44
最後出現
2022-08-29 20:01:34
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
85.208.98.21 bot.semrush.com US
192.243.53.51 ? US
192.243.55.127 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/7~bl-slave; +http://www.semrush.com/bot.html)
首次出現
2022-01-02 19:08:34
最後出現
2022-07-17 20:01:47
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
143.198.177.229 143.198.177.229 US
147.182.180.253 taylorpublications.com US
137.184.49.240 137.184.49.240 US
147.182.177.169 147.182.177.169 US
85.208.96.45 85.208.96.45 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出現
2014-08-03 18:00:31
最後出現
2021-08-29 05:37:12
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
46.229.173.65 ? US
213.174.152.174 ? US
使用者代理字串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出現
2019-08-08 05:21:31
最後出現
2021-08-21 21:48:11
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1.0~bm; +http://www.semrush.com/bot.html)
首次出現
2018-04-16 05:44:31
最後出現
2020-09-21 13:51:21
遵循robots.txt
否
來源
IP地址(10) 伺服器名稱 所屬國家
85.208.96.66 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
85.208.96.68 ? CY
85.208.96.69 ? CY
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出現
2019-06-20 06:51:49
最後出現
2020-05-11 17:04:20
遵循robots.txt
未知
來源
IP地址(22) 伺服器名稱 所屬國家
185.191.171.41 185.191.171.41 MD
185.191.171.43 ? MD
185.191.171.39 185.191.171.39 MD
185.191.171.3 bot.semrush.com MD
185.191.171.13 bot.semrush.com MD
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出現
2019-06-20 06:51:49
最後出現
2020-05-11 17:04:20
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.153 crawl25.bl.semrush.com US
46.229.168.131 crawl3.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-LBT; +http://www.semrush.com/bot.html)
首次出現
2020-01-10 11:33:05
最後出現
2020-01-10 11:33:05
遵循robots.txt
未知
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
首次出現
2018-03-01 14:53:44
最後出現
2020-01-02 05:54:36
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
46.229.168.143 ? US
46.229.168.140 ? US
46.229.168.152 ? US
46.229.168.137 ? US
46.229.168.131 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出現
2018-12-12 16:37:59
最後出現
2019-08-21 15:19:04
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.132 crawl4.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.139 crawl11.bl.semrush.com US
46.229.168.161 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出現
2019-03-28 18:38:03
最後出現
2019-03-28 18:38:03
遵循robots.txt
未知
來源
IP地址(16) 伺服器名稱 所屬國家
46.229.168.140 crawl12.bl.semrush.com US
46.229.168.154 crawl26.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.141 crawl13.bl.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出現
2019-03-28 18:38:03
最後出現
2019-03-28 18:38:03
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
194.36.110.216 194.36.110.216 GB
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
首次出現
2017-01-03 17:00:26
最後出現
2018-05-17 05:33:15
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
46.229.168.70 ? US
46.229.168.78 ? US
46.229.168.76 ? US
46.229.168.80 ? US
46.229.168.74 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)
首次出現
2016-05-04 08:17:00
最後出現
2017-01-13 09:58:04
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
46.229.164.100 ? US
46.229.168.67 ? US
46.229.168.68 ? US
46.229.168.69 ? US
46.229.168.70 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1~bl; +http://www.semrush.com/bot.html)
首次出現
2015-12-28 07:20:00
最後出現
2016-04-29 07:26:41
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
192.243.53.51 192.243.53.51 US
192.243.55.130 192.243.55.130 US
192.243.55.129 192.243.55.129 US
192.243.55.138 192.243.55.138 US
192.243.55.137 192.243.55.137 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.99~bl; +http://www.semrush.com/bot.html)
首次出現
2015-09-19 09:10:00
最後出現
2016-03-31 14:16:18
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
213.174.146.163 ? US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html)
首次出現
2014-10-18 09:00:00
最後出現
2015-06-24 22:30:39
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
46.229.164.114 46.229.164.114 US
46.229.164.113 46.229.164.113 US
46.229.164.115 46.229.164.115 US
46.229.164.112 46.229.164.112 US
46.229.164.111 46.229.164.111 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2013-08-30 08:15:00
最後出現
2014-04-16 07:06:53
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.164.98 46.229.164.98 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.102 46.229.164.102 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2013-08-30 08:15:00
最後出現
2014-04-16 07:06:53
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.96.4; +http://www.semrush.com/bot.html)
首次出現
2013-08-14 08:45:00
最後出現
2013-08-25 13:04:10
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.97 46.229.164.97 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.96.3; +http://www.semrush.com/bot.html)
首次出現
2013-06-14 08:40:00
最後出現
2013-07-28 12:49:44
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
46.229.164.97 46.229.164.97 US
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.96.2; +http://www.semrush.com/bot.html)
首次出現
2013-04-15 07:55:00
最後出現
2013-06-11 17:40:23
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.164.97 46.229.164.97 US
46.229.164.101 46.229.164.101 US
46.229.164.99 46.229.164.99 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.95; +http://www.semrush.com/bot.html)
首次出現
2012-09-16 09:15:00
最後出現
2013-03-14 14:39:36
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.161.138 46.229.161.138 US
46.229.161.136 46.229.161.136 US
46.229.164.103 46.229.164.103 US
46.229.164.97 46.229.164.97 US
46.229.161.132 46.229.161.132 US
使用者代理字串
SemrushBot/0.92
首次出現
2012-04-02 20:18:54
最後出現
2012-04-04 04:51:15
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
107.22.134.187 ec2-107-22-134-187.compute-1.amazonaws.com US
107.22.68.116 ec2-107-22-68-116.compute-1.amazonaws.com US
174.129.166.77 ec2-174-129-166-77.compute-1.amazonaws.com US
184.72.94.71 ec2-184-72-94-71.compute-1.amazonaws.com US
184.73.143.31 ec2-184-73-143-31.compute-1.amazonaws.com US
使用者代理字串
SemrushBot/0.91
首次出現
2012-02-28 21:56:46
最後出現
2012-03-08 19:26:14
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
107.21.149.52 ec2-107-21-149-52.compute-1.amazonaws.com US
107.21.155.119 ec2-107-21-155-119.compute-1.amazonaws.com US
107.22.128.82 ec2-107-22-128-82.compute-1.amazonaws.com US
184.72.140.220 ec2-184-72-140-220.compute-1.amazonaws.com US
184.72.187.47 ec2-184-72-187-47.compute-1.amazonaws.com US
使用者代理字串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出現
2012-02-20 12:24:18
最後出現
2012-02-20 15:10:44
遵循robots.txt
未知
來源
IP地址(19) 伺服器名稱 所屬國家
85.208.98.18 bot.semrush.com US
85.208.98.25 bot.semrush.com US
85.208.98.48 85.208.98.48 US
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
使用者代理字串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出現
2012-02-20 12:24:18
最後出現
2012-02-20 15:10:44
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
184.72.181.183 ec2-184-72-181-183.compute-1.amazonaws.com US
184.73.13.192 ec2-184-73-13-192.compute-1.amazonaws.com US
184.73.142.88 ec2-184-73-142-88.compute-1.amazonaws.com US
184.73.58.164 ec2-184-73-58-164.compute-1.amazonaws.com US
204.236.243.108 ec2-204-236-243-108.compute-1.amazonaws.com US
使用者代理字串
SemrushBot/0.9
首次出現
2011-11-24 12:54:08
最後出現
2011-12-29 21:46:50
遵循robots.txt
未知
來源
IP地址(40) 伺服器名稱 所屬國家
50.16.21.115 ec2-50-16-21-115.compute-1.amazonaws.com US
50.19.179.186 ec2-50-19-179-186.compute-1.amazonaws.com US
107.20.126.228 ec2-107-20-126-228.compute-1.amazonaws.com US
184.72.171.202 ec2-184-72-171-202.compute-1.amazonaws.com US
50.16.78.4 ec2-50-16-78-4.compute-1.amazonaws.com US

訪問控制

瞭解如何控制SEMrushBot訪問許可權，避免SEMrushBot抓取行為不當。

是否攔截SEMrushBot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 SEMrushBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。 

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: SEMrushBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

機器人，也稱為網路機器人、網路蜘蛛或網路爬蟲，是一種軟體應用程式，旨在以比任何人都更有效、更有條理和更簡潔的方式自動執行簡單和重複的任務。

機器人最常見的用途是網路爬蟲或網路爬行。

SemrushBot是Semrush傳送的搜尋機器人軟體，用於發現和收集新的和更新的網路資料。

SemrushBot收集的資料用於：

  • 公共反向連結搜尋引擎索引作為稱為反向連結分析（連結網路圖）的專用工具維護
  • 網站稽覈工具，用於分析頁面 SEO、技術和可用性問題
  • 反向連結稽覈工具，有助於發現和清理個人資料中潛在危險的反向連結
  • 連結構建工具，可幫助您找到潛在客戶，與他們聯絡並監控您新獲得的反向連結
  • SEO寫作助手工具，用於檢查URL是否可訪問
  • 用於索引和搜尋文章的品牌監控工具
  • 內容分析器和帖子跟蹤工具報告
  • 頁面 SEO 檢查器和 SEO 內容模板工具報告
  • 主題研究工具報告
  • SplitSignal工具可在您的網站上建立SEO A / B測試
  • 內容大綱構建器工具報告

SemrushBot如何抓取您的網站

SemrushBot的抓取過程從網頁URL列表開始。當SemrushBot訪問這些URL時，它會儲存頁面中的超連結以供進一步抓取。此列表也稱為“爬行邊界”，根據一組 Semrush 策略反覆訪問，以有效地對映站點以進行更新：內容更改、新頁面和死連結。

如何攔截SemrushBot抓取您的網站

機器人會抓取您的網頁以幫助解析您的網站內容，因此您網站中的相關資訊很容易編入索引，並且更容易被搜尋您提供的內容的使用者使用。

儘管大多數機器人是無害的，甚至是非常有益的，但您可能仍然希望攔截它們抓取您的網站（但請注意，並非網路上的每個人都在使用機器人來幫助索引您的網站）。最簡單快捷的方法是使用robots.txt檔案。此文字檔案包含有關機器人應如何處理站點資料的說明。

重要：robots.txt檔案必須放在它適用的網站主機的頂部目錄中。否則，它對SemrushBot行為沒有影響。

要攔截SemrushBot抓取您的網站，請將以下規則新增到您的robots.txt檔案中：

  • 要攔截SemrushBot抓取您的網站以獲取連結的網路圖，請執行以下操作： 
    User-agent: SemrushBot
Disallow: /

    SemrushBot for Backlink Analytics 還支援以下機器人的非標準擴充套件.txt：

    • 爬網延遲指令。Semrush的抓取工具在兩次向網站發出請求之間最多可能需要 10 秒的間隔。更高的值將減少到此 10 秒限制。如果未指定抓取延遲，SemrushBot將根據當前伺服器負載調整對站點的請求頻率。
    • 萬用字元 （*） 的使用。

    重要細節：

    • 如果您有子域，則需要在每個子域上放置一個 robots.txt 檔案。否則，SemrushBot 將不會處理您域中的任何其他檔案，並會認為允許它抓取您子域上的所有內容。
    • robots.txt 檔案必須始終返回 HTTP 200 狀態程式碼。如果返回4xx狀態程式碼，SemrushBot將假定不存在robots.txt.txt並且沒有抓取限制。為您的robots.txt.txt檔案返回 5xx 狀態程式碼將攔截 SemrushBot 抓取您的整個網站。Semrush的爬蟲可以處理robots.txt.txt具有 3xx 狀態程式碼的檔案。

請注意，SemrushBot 最多可能需要一小時或 100 個請求才能發現對您的機器人所做的更改.txt。

  • 要攔截SemrushBot抓取您的網站以解決不同的SEO和技術問題： 
    User-agent: SiteAuditBot
Disallow: /
  • 要攔截SemrushBot抓取您的網站以進行反向連結稽覈工具： 
    User-agent: SemrushBot-BA
Disallow: /
  • 要攔截SemrushBot抓取您的網站以獲取頁面SEO檢查器工具和類似工具： 
    User-agent: SemrushBot-SI
Disallow: /
  • 要攔截SemrushBot檢查您網站上的網址以獲取SWA工具，請執行以下操作： 
    User-agent: SemrushBot-SWA
Disallow: /
  • 要攔截SemrushBot對內容分析器和帖子跟蹤工具的網站進行爬網，請執行以下操作： 
    User-agent: SemrushBot-CT
Disallow: /
  • 要攔截SemrushBot抓取您的網站以進行品牌監控： 
    User-agent: SemrushBot-BM
Disallow: /
  • 要攔截 SplitSignalBot 抓取您的網站以獲取 SplitSignal 工具，請執行以下操作： 
    User-agent: SplitSignalBot
Disallow: /
  • 要攔截SemrushBot-COUB抓取內容大綱生成器工具的網站： 
    User-agent: SemrushBot-COUB
Disallow: /

要防止 Web 瀏覽器伺服器日誌中出現“找不到檔案”錯誤訊息，請建立一個空的“robots.txt”檔案。

不要嘗試通過IP攔截SemrushBot，因為Semrush不使用任何連續的IP塊。

常見問題

  • 為什麼Semrush嘗試抓取不存在或具有奇怪URL引數的頁面？
    通常，如果SemrushBot檢測到您網站上不存在的頁面，它將停止抓取它們。但是，如果網路上的其他網站連結到該網頁，Semrush的抓取工具可能會繼續查詢該網頁，該網頁將不再存在。
  • 為什麼SemrushBot嘗試登入，嘗試不同的密碼並提交調查表？
    這是因為您的登入名或調查表單是使用 GET 方法提交的。輸入資料將成為請求的 URL 的一部分，任何知道該 URL 的人都可以訪問，包括Semrush的抓取工具。雖然Semrush試圖省略此類表單，但Semrush建議您將表單方法切換為 POST。
  • SemrushBot在Semrush進行站點遷移後不服從Semrush的robots.txt命令。
    如果要遷移網站（例如，從HTTP遷移到HTTPS），請不要忘記遷移robots.txt檔案。

有關機器人的更多資訊

有關機器人的更多資訊，請參閱 https://www.robotstxt.org/.

獲得支援

如果您對SemrushBot有任何疑問，請通過 bot@semrush.com 與Semrush聯絡，Semrush將盡快回復。

SemrushBot需要一些時間來發現robots.txt檔案中的變化。但是，如果您認為它長期以來一直忽略您的“robots.txt”規則，請向Semrush提供您的網站URL，顯示SemrushBot抓取不應該抓取的頁面的日誌條目，Semrush將迅速解決問題。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
RidderBot
RidderBot蜘蛛/爬蟲屬於營銷型別，由Ridder開發執行。您可以繼續閱讀下方資訊，以深入瞭解RidderBot基本資訊，使用者代理和訪問控制等。
Upsales bot
Upsales bot蜘蛛/爬蟲屬於營銷型別，由Upsales Nordic AB開發執行。您可以繼續閱讀下方資訊，以深入瞭解Upsales bot基本資訊，使用者代理和訪問控制等。
HealRWorld
HealRWorld蜘蛛/爬蟲屬於營銷型別，由HealRWorld LLC.開發執行。您可以繼續閱讀下方資訊，以深入瞭解HealRWorld基本資訊，使用者代理和訪問控制等。
Scope3
Scope3蜘蛛/爬蟲屬於營銷型別，由Scope3, PBC.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Scope3基本資訊，使用者代理和訪問控制等。
MercuryLeads/1.0
MercuryLeads/1.0蜘蛛/爬蟲屬於營銷型別，由Mercury Leads開發執行。您可以繼續閱讀下方資訊，以深入瞭解MercuryLeads/1.0基本資訊，使用者代理和訪問控制等。
mediaboardbot
mediaboardbot蜘蛛/爬蟲屬於營銷型別，由Mediaboard s.r.o.開發執行。您可以繼續閱讀下方資訊，以深入瞭解mediaboardbot基本資訊，使用者代理和訪問控制等。
HaloScan bot
HaloScan bot蜘蛛/爬蟲屬於營銷型別，由ARCHI301開發執行。您可以繼續閱讀下方資訊，以深入瞭解HaloScan bot基本資訊，使用者代理和訪問控制等。
Matchory Bot
Matchory Bot蜘蛛/爬蟲屬於營銷型別，由Matchory GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解Matchory Bot基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles