omgilibot

是否拦截omgilibot？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 omgilibot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: omgilibot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

如果你正在阅读这篇文章，可能是因为你遇到了Omgilibot–也许是在你的网络分析或服务器日志中（用户代理：omgili/0.5 +https://omgili.com）–并求助于谷歌来决定这个爬虫是一个应该被允许随心所欲的仁慈生物，还是更邪恶的东西，应该被永远驱逐出你的服务器。

这篇文章将告诉你关于Omgili Bot的一切。

Omgili是一个白帽网络爬虫，被世界顶级公司使用，并为你带来巨大的流量。

更详细地说，Omgili Bot是Webz.io十年前开发的网络爬虫，用于支持Omgili搜索引擎。

今天，这个机器人为Webz.io提供动力，这是一项网络抓取服务，被世界领先的媒体监测和研究机构以及成千上万的开发人员所使用。

通过索引您的网站，Webz.io使Hootsuite、Sprinklr和NetBase等服务–所有这些服务都依赖于Omgili的抓取的网络数据–能够在您的网站中找到相关信息，并将其链接到您的网站上，为您带来流量。这也使这些公司不必建立自己的爬虫，这显然会进一步占用您网站的资源。

Omgili会尽其所能地发挥其作用。

Omgili机器人会有效地抓取您的网站，并尽量减少它对您的基础设施的资源要求。Webz.io有专门的开发人员，他们整天都在做这件事。

然而，偶尔也会发生一些小插曲–所以，如果Webz.io的机器人成为了资源大户，拖累了您的网站，请告诉webz.io，webz.io会找到一个解决方案。

Omgilibot知道什么时候它不被需要。

如果您不喜欢Omgilibot在您的网站上闲逛，您可以直接告诉webz.io，或者通过您的robots.txt文件告诉webz.io–webz.io会各走各路，不会有任何不愉快（好吧，也许会有一些不愉快）。

你可以在这里阅读更多关于阻止Omgili机器人的信息。webz.io致力于与webz.io抓取的网站以互利的方式合作，并始终遵守这些要求。

Omgilibot会抓取哪些网站？

一般来说，机器人会尝试抓取它遇到的任何东西，但Omgilibot主要关注以下内容。

• 新闻网站
• 博客
• 评论
• 电子商务
• 留言板和在线讨论

如果你的网站属于这些类别之一，你可能会遇到Omgilibot。它很友好，所以不要犹豫，跟它打招呼吧!

Omgili对收集到的数据做了什么？

抓取您的网站后，Webz.io将其编入索引，并通过Webz.io的API进行访问，成千上万的个人、公司、研究机构或政府机构都在使用该API，以更好地了解网络。

为什么您要让Omgilibot抓取您的网站？

简而言之：

• Omgilibot将您的网站连接到数百个应用程序、服务和市场，如Hootsuite和Sprinklr，然后它们可以链接回您，有可能将成千上万的相关访问者送到您的网络属性上
• 如果您的网站上有广告，被这些服务所关注和链接，可以增加您对广告商的吸引力和网站的收入。
• Omgili的建立是为了尽量减少它所抓取的网站的资源占用。
• Webz.io正在不断地改进Omgili，并愿意接受您对机器人及其运作方式的任何反馈。