SiteCheckerBot

SiteCheckerBot蜘蛛/爬虫属于工具类型,由Boosta开发运行。您可以继续阅读下方信息,以深入了解SiteCheckerBot基本信息,用户代理和访问控制等。

基本信息

SiteCheckerBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
SiteCheckerBot
类型
工具
开发商
Boosta
当前状态
活动

用户代理

关于SiteCheckerBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
SiteCheckerBotCrawler/1.0
用户代理字符串
SiteCheckerBotCrawler/1.0 (+http://sitechecker.pro)
首次出现
2019-04-01 07:51:58
最后出现
2024-11-03 06:32:11
遵循robots.txt
来源
IP地址(14) 服务器名称 所属国家
46.4.227.116 static.116.227.4.46.clients.your-server.de DE
148.251.238.57 ? DE
23.254.48.99 solutions.accountsstuffleadsone.com US
198.12.81.160 198-12-81-160-host.colocrossing.com US
195.201.175.102 static.102.175.201.195.clients.your-server.de DE
用户代理字符串
SiteCheckerBot/1.0 (+http://sitechecker.pro), SiteCheckerBot/1.0 (+http://sitechecker.pro)
首次出现
2018-06-11 08:19:22
最后出现
2018-08-07 05:53:21
遵循robots.txt
来源
IP地址(20) 服务器名称 所属国家
88.99.59.130 ? DE
95.216.40.126 ? FI
94.130.182.122 ? DE
95.216.34.250 ? FI
94.130.182.109 ? DE
用户代理字符串
SiteCheckerBot/1.0 (+http://sitechecker.pro), SiteCheckerBot/1.0 (+http://sitechecker.pro)
首次出现
2018-06-11 08:19:22
最后出现
2018-08-07 05:53:21
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
192.186.130.136 dicembre.workoutimprove.com US
198.23.145.210 198-23-145-210-host.colocrossing.com US
104.144.161.107 ? US
192.186.145.61 ? US
107.152.241.91 ? US

访问控制

了解如何控制SiteCheckerBot访问权限,避免SiteCheckerBot抓取行为不当。

是否拦截SiteCheckerBot?

可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然,实际情况需站长判断后再作决定。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SiteCheckerBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SiteCheckerBot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles