LivelapBot

是否拦截LivelapBot？

对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的，也可能是坏的，这取决于它是什么。所以说，这需要站长进一步分析判断这些尚不明确的爬虫行为，再作最终决定。 但，根据以往的经验，未声明行为目的及未命名的蜘蛛爬虫，通常都有不可告人的秘密，我们理应对其行为进行控制，比如拦截。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 LivelapBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: LivelapBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

Livelap爬虫: LivelapBot

Livelap是一个内容发现应用程序，它对网络内容进行索引。可能你已经在你的服务器日志中看到Livelapbot/0.1或LivelapBot/0.2爬虫。如果一个页面在社交媒体上被分享，LivelapBot可以访问该页面，并作为其RSS/页面爬行计划的一部分。

LivelapBot收集什么

Livelap对网页内容进行索引，并在livelap.com和Livelap应用程序中提供元数据和您的内容链接。对于索引，我们只使用您页面中的官方HTML和媒体元标签。我们不会搜刮您的文章内容。以下字段被用于索引。

• 标题
• 描述
• 作者
• 出版日期
• 内容类型（文章、照片、视频等）
• 图片（OG、twitter和其他标准标签）
• 视频（OG、twitter和其他标准标签）。
• RSS链接
• 检测是否允许在iframe中显示页面

我的内容在Livelap中是什么样子的

以下是您的内容在Livelap中显示的一个例子。示例：http://mashable.com/2014/08/27/furries-in-berlin/

Livelap按域名聚合内容，并显示您网站的最新内容的视觉概览。mashable.com的展示如下所示。

用户可以查看你的内容的元数据，我们提供页面的预览（如果没有被网站所有者禁用）。这将在一个嵌入的iframe中显示内容和内容细节。预览上方显示一个可点击的链接，因此用户可以清楚地知道该内容是来自另一个网站。下面是一个用户体验的例子：

有效的内容

Livelap是一个视觉发现工具，所以我们不能接受每一个链接。在内容被添加到Livelap之前，以下规则适用：

• 需要一个媒体图片（og:image，twitter:image，或其他标准的图片元标签）
• 图片的最小分辨率为160×160像素
• 不允许有成人、露骨、赌博、欺骗、垃圾邮件、诈骗、露骨重复或其他有害内容。

防止Livelap对您的内容进行索引

如果您不希望您的网页被Livelap索引，那也没关系。你可以通过以下方式限制或阻止LivelapBot。

使用 “livelap:index “HTML元标签来阻止Livelap的索引

如果您在您的页面的HEAD部分添加以下HTML元标签，该页面将被Livelap忽略。

<meta name="livelap:index" content="noindex"/>

使用 “robots “HTML元标签来阻止所有机器人的索引

如果你在你的页面的HEAD部分添加以下HTML元标签，该页面将被网络机器人忽略，包括Livelap。

<meta name="robots" content="noindex" />

使用 “X-Robots-Tag””noindex “HTTP头来阻止所有机器人的索引

如果你在你的网页响应中添加以下HTTP头，该页面将被网络机器人忽略，包括Livelap

HTTP/1.1 200OK X-Robots-Tag: noindex

关于使用robots标签的更多信息可以在这里找到：https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

防止Livelap预览你的内容

如果你希望你的网页被Livelap索引，但你不希望你的网站在Livelap内被预览，你可以添加以下代码。

使用 “livelap:preview “HTML元标签来防止Livelap预览您的网站

如果您在您的页面的HEAD部分添加以下HTML元标签，该页面就不能从Livelap内部预览。

<meta name="livelap:preview" content="no">

使用 “X-Frame-Options “HTTP头来防止页面预览

如果你在你的网络响应中添加以下HTTP头，该页面就不能在Livelap内预览。

HTTP/1.1 200OK X-Frame-Options: SAMEORIGINorX-Frame-Options: DENY

Livelap不支持X-Frame-Options的ALLOW-FROM值。关于X-Frame-Options的更多信息可以在这里找到： https://developer.mozilla.org/en-US/docs/Web/HTTP/X-Frame-Options

关于robots.txt

Livelap目前没有检查你的/robots.txt文件来决定一个链接是否可以被索引。我们目前正在开发这个功能。请使用上述的方法之一来限制索引。你也可以通过联系Livelap来要求一个完整的域名选择退出。