MB-SiteCrawler

是否拦截MB-SiteCrawler？

通常不需要。链接检测类爬虫的爬取行为一般也不是自发性的，仅当认为提交网站链接检测请求，这些爬虫才会对网站的链接进行抓取和检测。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 MB-SiteCrawler 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: MB-SiteCrawler
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

MB-SiteCrawler是个人开发者MARCO BEIERER针对其所开发的Website Tools、Link Checker和Sitemap Generator三个工具开发的网络爬虫。

Website Tools

Website Tools是一个用于网站技术优化的工具集合。目前，链接检查器和网站地图生成器可以通过该平台使用。

我们的目标是开发一个平台，以监测网站的技术方面，并支持消除技术上的缺陷。

网站工具适用于改善用户体验和搜索引擎技术优化。

Link Checker

Link Checker抓取您的网站，并检查是否有任何内部或外部链接无效。在专业版中，它还会检查所有嵌入的图片是否可以到达。

Link Checker可以作为：

• 在线工具，
• Joomla扩展，
• WordPress插件，
• Website Tools中的应用程序。

Sitemap Generator

Sitemap Generator允许你生成一个XML网站地图，包括图片和视频的专业版本，以使你的网站更快地被搜索引擎收录。

Sitemap Generator可以作为：

• 在线工具，
• Joomla扩展，
• WordPress插件，
• 命令行应用程序（直接链接到GitHub）
• Website Tools中的应用程序。

关于MARCO BEIERER

MARCO BEIERER自2007年以来是一名自雇的网络开发人员和安全顾问，在瑞士工作。在过去几年中，MARCO BEIERER为来自奥地利、德国、荷兰和瑞士的客户建立了多个网站、网络应用程序和Joomla扩展。自2014年3月以来，MARCO BEIERER还经营着一个网站的备份服务。MARCO BEIERER提供的服务包括网站建设、扩展开发和安全咨询。

MARCO BEIERER曾在伯尔尼（瑞士）的应用科学大学学习计算机科学，重点是IT安全。在去伯尔尼之前，MARCO BEIERER曾在恩斯赫德的萨克森应用科学大学学习计算机科学（荷兰）。

在学习期间，MARCO BEIERER特别获得了用Java进行面向对象编程、计算机网络、网络技术、系统软件、设备驱动程序、密码学、网络安全和系统安全方面的经验。在MARCO BEIERER的自营工作中，MARCO BEIERER获得了PHP、MySQL、HTML、CSS和网络相关安全主题的知识。