omgilibot

是否攔截omgilibot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 omgilibot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: omgilibot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

如果你正在閱讀這篇文章，可能是因為你遇到了Omgilibot–也許是在你的網路分析或伺服器日誌中（使用者代理：omgili/0.5 +https://omgili.com）–並求助於谷歌來決定這個爬蟲是一個應該被允許隨心所欲的仁慈生物，還是更邪惡的東西，應該被永遠驅逐出你的伺服器。

這篇文章將告訴你關於Omgili Bot的一切。

Omgili是一個白帽網路爬蟲，被世界頂級公司使用，併為你帶來巨大的流量。

更詳細地說，Omgili Bot是Webz.io十年前開發的網路爬蟲，用於支援Omgili搜尋引擎。

今天，這個機器人為Webz.io提供動力，這是一項網路抓取服務，被世界領先的媒體監測和研究機構以及成千上萬的開發人員所使用。

通過索引您的網站，Webz.io使Hootsuite、Sprinklr和NetBase等服務–所有這些服務都依賴於Omgili的抓取的網路資料–能夠在您的網站中找到相關資訊，並將其連結到您的網站上，為您帶來流量。這也使這些公司不必建立自己的爬蟲，這顯然會進一步佔用您網站的資源。

Omgili會盡其所能地發揮其作用。

Omgili機器人會有效地抓取您的網站，並儘量減少它對您的基礎設施的資源要求。Webz.io有專門的開發人員，他們整天都在做這件事。

然而，偶爾也會發生一些小插曲–所以，如果Webz.io的機器人成為了資源大戶，拖累了您的網站，請告訴webz.io，webz.io會找到一個解決方案。

Omgilibot知道什麼時候它不被需要。

如果您不喜歡Omgilibot在您的網站上閒逛，您可以直接告訴webz.io，或者通過您的robots.txt檔案告訴webz.io–webz.io會各走各路，不會有任何不愉快（好吧，也許會有一些不愉快）。

你可以在這裡閱讀更多關於阻止Omgili機器人的資訊。webz.io致力於與webz.io抓取的網站以互利的方式合作，並始終遵守這些要求。

Omgilibot會抓取哪些網站？

一般來說，機器人會嘗試抓取它遇到的任何東西，但Omgilibot主要關注以下內容。

• 新聞網站
• 部落格
• 評論
• 電子商務
• 留言板和線上討論

如果你的網站屬於這些類別之一，你可能會遇到Omgilibot。它很友好，所以不要猶豫，跟它打招呼吧!

Omgili對收集到的資料做了什麼？

抓取您的網站後，Webz.io將其編入索引，並通過Webz.io的API進行訪問，成千上萬的個人、公司、研究機構或政府機構都在使用該API，以更好地瞭解網路。

為什麼您要讓Omgilibot抓取您的網站？

簡而言之：

• Omgilibot將您的網站連線到數百個應用程式、服務和市場，如Hootsuite和Sprinklr，然後它們可以連結回您，有可能將成千上萬的相關訪問者送到您的網路屬性上
• 如果您的網站上有廣告，被這些服務所關注和連結，可以增加您對廣告商的吸引力和網站的收入。
• Omgili的建立是為了儘量減少它所抓取的網站的資源佔用。
• Webz.io正在不斷地改進Omgili，並願意接受您對機器人及其運作方式的任何反饋。