MJ12bot

是否拦截MJ12bot？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 MJ12bot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: MJ12bot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

Majestic是一个总部位于英国的专业搜索引擎，被13种语言和60多个国家的数十万家企业使用，以绘制独立于基于消费者的搜索引擎的互联网地图。Majestic还为其他合法技术提供支持，这些技术有助于了解不断变化的网络结构。

网站所有者可以在 majestic.com 上查看有关其自己网站的数据.

MJ12Bot 目前不缓存网页内容或个人数据。相反，它映射网站之间的链接关系以构建搜索引擎。这些数据可供技术和公众使用，无论是在Majestic上搜索关键字还是网站。有关爬虫背后的社区项目的详细信息，请参见 Majestic12.co.uk.

MJ12bot 在我的网站上做什么？

MJ12Bot蜘蛛网络的目的是建立一个搜索引擎，具有快速高效的可下载分布式爬虫，使宽带连接的人能够帮助做出贡献，Majestic希望成为世界上最大的搜索引擎。Majestic-12的全文搜索引擎生产目前处于研究阶段，部分资金来自Majestic研究的商业化.

已爬网数据会发生什么情况？

已爬网的数据（目前只有链接的 Web 图）被添加到最大的公共反向链接搜索引擎索引中，MJ12Bot将其作为称为网站分析的专用工具进行维护。从广泛的反向链接索引中了解您自己的反向链接.

我的虚拟主机拦截了MJ12bot，为什么？

某些 ISP 和配置不当的防火墙可能会拦截 MJ12Bot 抓取您的网站。这通常是因为 ISP 或防火墙不明白这样做，他们会在以后拦截您网站的真正访问者。有些人还这样做以最小化带宽。在这些情况下，一些 ISP 在了解机器人的目的时可以为所有用户删除阻止。如果您的 ISP 不允许Majestic的机器人，Majestic建议您考虑移动 ISP。

为什么你一直抓取 404 或 301 页面？

Majestic有很长的记忆，并希望确保临时错误、网站关闭页面或对网站的其他临时更改不会在不应该发生时对您的网站配置文件造成无法修复的更改。此外，如果仍有指向这些页面的链接，它们将继续被找到并关注。谷歌已经发表了一份声明，因为他们也被问到这个问题，他们的理由当然和Majestic一样，他们的答案可以在这里找到： 谷歌404政策.

您正在使用 rel=nofollow 抓取链接

这是对（也许名称不佳）nofollow属性的常见误解。谷歌在2005年引入了“rel=nofollow”属性，指出如此标记的链接不会影响目标的Pagerank，它不会阻止爬虫访问目标页面，如果目标页面有多个链接，这一点变得特别明显，有些可能有这个属性，有些可能没有。如果您希望阻止机器人抓取页面，则应使用 robots.txt 文件来禁止目标页面。

有关rel=nofollow的更多信息可以在这里找到：维基百科Nofollow。

如何拦截 MJ12bot？

MJ12bot遵守robots.txt。如果您希望拦截机器人抓取网站，请将以下文本添加到您的robots.txt：

User-agent: MJ12bot
Disallow: /

请不要通过 htaccess 中的 IP 拦截Majestic的机器人 – Majestic不使用任何连续的 IP 块，因为Majestic是基于社区的分布式爬虫。请始终确保机器人实际上可以检索robots.txt本身。如果不能，那么它将假定可以抓取您的网站。

如果您有理由相信MJ12bot不服从您的robots.txt命令，请通过电子邮件告知Majestic：bot@majestic12.co.uk。请提供您网站的 URL 和日志条目，显示机器人试图检索不应该检索的页面。

MJ12bot支持robots.txt哪些命令规则？

目前的爬虫程序支持robots.txt的以下非标准扩展：

• 最长为20秒的抓取延迟（更高的值将被四舍五入为我们的机器人所支持的最大值）
• 当试图获取robots.txt时的重定向（在同一网站内）。
• Disallow指令中的简单模式匹配与雅虎的通配符规范兼容
• 如果Allow指令更具体（长度更长），可以覆盖Disallow指令
• 某些获取robots.txt的失败，如403 Forbidden将被视为空白的禁止指令。

为什么我的robots.txt块在MJ12bot上不起作用？

Majestic非常希望看到任何关于MJ12bot可能违反robots.txt的报告。

引发了许多误报–这可以作为配置网络服务器时的一个有用的检查表。

1. 请求 robots.txt 时的站外重定向 – MJ12Bot 遵循重定向，但只在同一域内。最理想的是robots.txt在标准中规定的”/robots.txt “中可用。
2. 在同一服务器上运行的多个域。现代的网络服务器，如Apache，可以将对多个域的访问记录到一个文件中–当试图查看哪个网络服务器在哪个点被访问时，这可能会造成混乱。你可以考虑在访问日志中加入域的信息，或者在每个域的基础上分割访问日志。
3. Robots.txt与开发者副本不同步。我们曾接到投诉，说MJ12Bot不服从robots.txt，后来才发现，开发者是针对一个开发服务器进行测试的，而该服务器与实时版本不同步。

如何减慢 MJ12bot 的速度？

您可以通过将以下内容添加到robots.txt文件中来轻松减慢机器人的速度：

User-Agent: MJ12bot
Crawl-Delay: 5

爬网延迟应为整数，表示请求之间的等待秒数。MJ12bot 将在对您的网站的请求之间产生长达 20 秒的延迟 – 但请注意，虽然不太可能，但您的网站仍有可能同时从多个 MJ12bots 中抓取。设置较高的抓取延迟应该可以最大程度地减少对您网站的影响。如果此爬网延迟参数用于 * 通配符，则该参数也将处于活动状态。

如果Majestic的机器人检测到您对任何其他机器人使用了抓取延迟，那么即使没有特别要求 MJ12bot 这样做，它也会自动爬得更慢。

MJ12bot的当前版本是什么？

目前 MJ12bot 的 v1.4.x 系列运行版本有：

• v1.4.8（当前 – 2017 年 4 月）
• v1.4.7 （被 1.4.8 取代 – 2018 年底）
• v1.4.6（被 1.4.7 取代 – 2016 年 6 月）
• v1.4.5（逐步淘汰 – 2016 年 6 月）
• v1.4.4（2014 年 5 月逐步淘汰）

如何验证请求是否来自您？

不幸的是，作为一个社区项目，Majestic无法像一些资金较好的同行那样将Majestic的机器人限制在有限数量的 IP 地址上。但是，Majestic可以向您的网站发送预先安排的标识符字符串，其中包含所有请求。这可以作为“CRAWLER-IDENT”字段中的 http 或 https 标头的一部分发送，也可以作为用户代理字符串的一部分发送。Majestic不会与任何其他人共享此字符串，也不会将其发送到您请求的任何其他域或子域，因此包含此字符串的请求可以验证为来自Majestic的网络。要使用此功能，请联系 bot@majestic12.co.uk，提供您网站的详细信息和您要发送的标识符，或者如果您愿意，Majestic可以为您生成一个随机标识符字符串。