MarginaliaBot

基本信息

MarginaliaBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
MarginaliaBot
类型
搜索引擎 , 信息流
开发商
Viktor Lofgren
当前状态
活动

用户代理

关于MarginaliaBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
Marginalia-like bot
用户代理字符串
Mozilla/5.0 (compatible; Marginalia-like bot; +https://git.marginalia.nu/))
首次出现
2026-08-21 20:14:26
最后出现
2026-08-21 20:14:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
193.183.0.173 193.183.0.173 SE
用户代理字符串
search.marginalia.nu RSS Feed Fetcher
首次出现
2024-11-08 19:30:24
最后出现
2024-11-20 17:45:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
193.183.0.162 ? SE
用户代理字符串
search.marginalia.nu Java/17.0.2
首次出现
2023-08-14 14:53:26
最后出现
2023-08-14 16:53:26
遵循robots.txt
未知
来源
IP地址(12) 服务器名称 所属国家
193.183.0.171 ? SE
193.183.0.164 ? SE
193.183.0.167 ? SE
193.183.0.169 193.183.0.169 SE
193.183.0.172 193.183.0.172 SE
用户代理字符串
nu.marginalia.wmsa.edge-crawler
首次出现
2021-04-19 14:42:53
最后出现
2021-07-27 12:25:37
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
81.170.128.52 h-128-52.a258.priv.bahnhof.se SE

访问控制

了解如何控制MarginaliaBot访问权限,避免MarginaliaBot抓取行为不当。

是否拦截MarginaliaBot?

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力,是用户发现您网站的有效途径。事实上,拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 MarginaliaBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: MarginaliaBot
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles