serpstatbot serpstatbot

蜘蛛/爬虫名称
serpstatbot
开发商
Serpstat Global LTD
官网
serpstat.com
当前状态
活动
  • serpstatbot/2.1
  • serpstatbot/2.0 beta
  • serpstatbot/2.0 alpha
  • serpstatbot/1.0
  • serpstatbot/1.0
用户代理字符串
serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
类型
营销
首次出现
2021-07-03 17:26:32
最后出现
2023-12-10 13:06:01
遵循robots.txt
IP地址
42
来源
IP地址 服务器名称 所属国家
144.76.68.14 ? DE
148.251.168.205 ? DE
88.99.193.224 ? DE
88.99.240.224 static.224.240.99.88.clients.your-server.de DE
144.76.72.99 ? DE
138.201.36.87 ? DE
136.243.145.46 ? DE
2a01:4f8:171:13ad::2 2a01:4f8:171:13ad::2 DE
144.76.67.110 ? DE
88.99.149.173 ? DE
144.76.68.17 static.17.68.76.144.clients.your-server.de DE
144.76.68.76 ? DE
148.251.11.147 static.147.11.251.148.clients.your-server.de DE
88.99.244.56 ? DE
2a01:4f8:201:7089::2 2a01:4f8:201:7089::2 DE
136.243.212.110 ? DE
94.130.10.218 static.218.10.130.94.clients.your-server.de DE
88.99.95.199 static.88-99-95-199.clients.your-server.de DE
144.76.67.108 ? DE
88.99.250.124 static.124.250.99.88.clients.your-server.de DE
144.76.67.169 static.169.67.76.144.clients.your-server.de DE
136.243.153.17 ? DE
88.99.164.109 ? DE
195.201.12.243 static.243.12.201.195.clients.your-server.de DE
5.9.55.228 static.228.55.9.5.clients.your-server.de DE
144.76.67.250 ? DE
144.76.88.54 static.54.88.76.144.clients.your-server.de DE
94.130.237.182 ? DE
2a01:4f8:191:8046::2 2a01:4f8:191:8046::2 DE
2a01:4f8:13b:1288::2 2a01:4f8:13b:1288::2 DE
195.201.174.92 static.92.174.201.195.clients.your-server.de DE
136.243.155.105 ? DE
144.76.68.88 ? DE
144.76.69.39 static.39.69.76.144.clients.your-server.de DE
94.130.23.168 static.168.23.130.94.clients.your-server.de DE
144.76.68.20 static.20.68.76.144.clients.your-server.de DE
144.76.68.124 ? DE
2a01:4f8:191:8159::2 2a01:4f8:191:8159::2 DE
144.76.68.70 ? DE
144.76.72.24 ? DE
138.201.203.132 ? DE
用户代理字符串
serpstatbot/2.0 beta (advanced backlink tracking bot; http://serpstatbot.com/; abuse@serpstatbot.com)
类型
营销
首次出现
2020-10-09 18:04:11
最后出现
2021-06-13 05:21:36
遵循robots.txt
IP地址
19
来源
IP地址 服务器名称 所属国家
144.76.67.250 ? DE
88.99.193.224 ? DE
195.201.194.151 ? DE
88.99.244.56 ? DE
144.76.68.17 ? DE
144.76.72.99 ? DE
144.76.73.122 ? DE
144.76.69.39 static.39.69.76.144.clients.your-server.de DE
88.99.164.109 ? DE
94.130.10.218 ? DE
用户代理字符串
serpstatbot/2.0 alpha (advanced backlink tracking bot; curl/7.58.0; http://serpstatbot.com/; abuse@serpstatbot.com)
类型
营销
首次出现
2020-08-22 13:48:26
最后出现
2020-08-22 13:48:26
遵循robots.txt
IP地址
1
来源
IP地址 服务器名称 所属国家
144.76.68.124 static.124.68.76.144.clients.your-server.de DE
用户代理字符串
serpstatbot/1.0 (advanced backlink tracking bot; http://serpstatbot.com/; abuse@serpstatbot.com)
类型
营销
首次出现
2019-05-17 05:51:14
最后出现
2019-06-30 06:04:49
遵循robots.txt
IP地址
27
来源
IP地址 服务器名称 所属国家
144.76.68.124 ? DE
148.251.241.12 ? DE
138.201.194.13 static.13.194.201.138.clients.your-server.de DE
176.9.17.6 static.6.17.9.176.clients.your-server.de DE
144.76.151.45 ? DE
176.9.18.183 ? DE
138.201.36.87 ? DE
144.76.61.84 ? DE
5.9.110.227 ? DE
144.76.13.100 static.100.13.76.144.clients.your-server.de DE
144.76.67.110 ? DE
144.76.68.17 ? DE
144.76.151.42 ? DE
136.243.212.110 ? DE
144.76.68.88 ? DE
144.76.67.108 ? DE
136.243.155.105 ? DE
144.76.68.76 ? DE
136.243.153.17 ? DE
136.243.176.156 ? DE
用户代理字符串
serpstatbot/1.0 (advanced backlink tracking bot; http://serpstatbot.com/; abuse@serpstatbot.com)
类型
营销
首次出现
2019-05-17 05:51:14
最后出现
2019-06-30 06:04:49
遵循robots.txt
IP地址
27
来源
IP地址 服务器名称 所属国家
144.76.67.110 ? DE
144.76.68.17 ? DE
144.76.151.42 ? DE
136.243.212.110 ? DE
144.76.68.88 ? DE
144.76.67.108 ? DE
136.243.155.105 ? DE
144.76.68.76 ? DE
136.243.153.17 ? DE
136.243.176.156 ? DE

serpstatbot 的目的是什么?

serpstatbot 会不断爬行网络,添加新链接并跟踪链接数据库的变化。serpstatbot 为用户提供市场上最大的反向链接数据库之一,用于规划和监控营销活动。

如何处理抓取的数据?

抓取的数据会添加到反向链接索引中。您可以在 Serpstat 中访问索引中的数据。

如何处理 404 或 301 页面?

serpstatbot 收集历史数据,以确保临时变化不会对您的网站产生影响。如果带有404或301服务器响应代码的页面链接仍然存在,serpstatbot将继续查找并跟踪它们。您可以查看 Google 404 政策,了解更多信息。

机器人会抓取带有 rel = nofollow 属性的链接吗?

是的,它会扫描。

如何 阻止serpstatbot?

Serpstatbot 遵循 robots.txt 标准。如果您不希望机器人抓取您的网站,请在robots.txt中添加以下文本:

User-agent: serpstatbot
Disallow: /

请始终确保机器人本身能获取 robots.txt 文件。如果不能,它将默认抓取您的网站。

如果您认为 serpstatbot 没有遵从您的 robots.txt 命令,请通过电子邮件联系: serpstatbot@serpstatbot.com。请附上您网站的URL和日志条目,以显示机器人试图抓取它不应该抓取的页面。

serpstatbot 支持 robots.txt 中的哪些命令?

Serpstatbot支持在robots.txt中添加以下内容:

  • Crawl-delay(抓取延迟)最多20秒(更高的数字将被削减)
  • 当尝试获取 robots.txt 时,在同一网站内 Redirecting(重定向)
  • 与雅虎通配符规范一致的 Disallow 指令中的简单模式匹配
  • 如果 Allow 指令较长,则 Allow 指令优先于 Disallow 指令
  • 检索 robots.txt 文件失败(如 403 Forbidden)会被视为没有任何禁止。在这种情况下,机器人将抓取所有可实际访问的页面。

为什么我的 robots.txt block 在 serpstatbot 上不起作用?

有几个原因:

  • 请求 robots.txt 后的站外重定向:serpstatbot 只访问同一域名的重定向。
  • 如果在同一服务器上运行多个域,某些服务器会将这些域的访问记录到一个文件中,而不指定域名。您应在访问日志中添加域名,或按域分割访问日志。

如何降低 serpstatbot 的运行速度?

您可以通过在 robots.txt 文件中添加以下设置来减慢机器人的速度:

User-Agent: serpstatbot
Crawl-Delay: 5

爬行延迟( Crawl-Delay )必须是整数:代表请求之间等待的秒数。Serpstatbot 接受的网站请求延迟时间最多为20秒。高爬行延迟应尽量减少对您网站的影响。如果该参数设置为  User-Agent: * .

如果 Serpstatbot 机器人发现您为其他机器人使用了 Crawl-Delay ,那么它会自动放慢爬行速度。

我能得到Serpstatbot的全部IP列表吗?

这是 Serpstatbot 使用的所有 IP 的列表

常见问题

FAQs
查看更多 >