MetaJobBot

基本信息

MetaJobBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

蜘蛛/爬虫名称: MetaJobBot

类型: 搜索引擎

开发商: Dr. Manfred Schauer

当前状态: 活动

用户代理

关于MetaJobBot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: Mozilla/5.0 (compatible; MetaJobBot; http://www.metajob.de/crawler)

首次出现: 2015-09-21 09:43:30

最后出现: 2019-12-04 12:26:36

遵循robots.txt: 未知

来源

IP地址(3)	服务器名称	所属国家
136.243.83.42	cra.metajobs.de	DE
136.243.83.16	de.metajob.de	DE
188.40.88.130	dena.metajob.de	DE

用户代理字符串: Mozilla/5.0 (compatible; MetaJobBot; http://www.metajob.at/crawler)

首次出现: 2012-03-22 20:25:47

最后出现: 2016-10-11 00:34:29

遵循robots.txt: 未知

来源

IP地址(4)	服务器名称	所属国家
136.243.83.42	cra.metajobs.de	DE
136.243.83.16	de.metajob.de	DE
188.40.88.130	karriere.at	DE
144.76.185.46	nia.metajob.at	DE
144.76.96.130	mak.metajob.at	DE
188.40.64.145	xan.metajob.at	DE

用户代理字符串: Mozilla/5.0 (compatible; MetaJobBot; http://www.metajob.at/crawler)

首次出现: 2012-03-22 20:25:47

最后出现: 2016-10-11 00:34:29

遵循robots.txt: 未知

来源

IP地址(4)	服务器名称	所属国家
144.76.185.46	nia.metajob.at	DE
144.76.96.130	mak.metajob.at	DE
188.40.64.145	xan.metajob.at	DE
188.40.88.130	karriere.at	DE

访问控制

了解如何控制MetaJobBot访问权限，避免MetaJobBot抓取行为不当。

是否拦截MetaJobBot？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 MetaJobBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt

# 下列代码一般情况可以拦截该代理

User-agent: MetaJobBot

Disallow: /

# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: MetaJobBot Disallow: /

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: MetaJobBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

怎样才算有利于SEO的网站结构

众所周知，扁平且层级不超过三级的网站结构是最有利于搜索引擎蜘蛛爬取的。显浅的一句看似易懂但如深入，又未必是那么容易理解。下面我们将深入了解网站结构的定义，重要性及实践，以便于各位技术开发、站长和SEOer在未来的网站开发及运营中应用。

MetaJobBot

基本信息

用户代理

访问控制

是否拦截MetaJobBot？

通过Robots.txt拦截

站长工具

常见蜘蛛/爬虫

相关文章