OpenWebSearch.eu crawler

是否攔截OpenWebSearch.eu crawler？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 OpenWebSearch.eu crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: OpenWebSearch.eu crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

OWLer  – OpenWebSearch 的網路爬蟲 – 是一個友好的瀏覽器，嚴格遵循 robots.txt 協議，確保合法且尊重的線上爬行。由於我們正處於開拓階段，在此過程中可能會出現一兩次小問題，對於任何潛在的不便，我們提前表示歉意。我們感謝您的理解，並隨時歡迎反饋。

OWLer 使用 OpenWebSearch 的網路爬蟲的兩個主要版本：Experimental version 和 Version 1。這兩個版本都是基於強大的 Apache Storm 框架和 StormCrawler 技術構建的，但它們具有不同的目標和功能。這是一個簡短的比較：

實驗版

這個版本是 OpenWebSearch 創新的遊樂場。OpenWebSearch 主要用它來測試各種拓撲和配置，然後再在 OpenWebSearch 的主要爬蟲版本中實現它們。

• 拓撲：在 Apache Storm 的上下文中，拓撲定義了計算中的資料流或資料轉換。它本質上是處理邏輯的對映。OpenWebSearch 的實驗爬蟲測試了噴口（資料來源）和螺栓（處理單元）的不同排列，以找到最有效的拓撲。
• 配置：此版本還允許 OpenWebSearch 嘗試不同的設定，以最大限度地提高爬蟲的效率和有效性。例如，OpenWebSearch 可能會測試不同的禮貌策略、爬行速度或處理各種資料型別的方法。

版本1

這是 OpenWebSearch 網路爬蟲的當前主要版本。它包括實驗版本中所有穩定且經過測試的功能，這些功能已被證明可以提高爬蟲的效能。

• 穩定可靠：經過實驗版本的廣泛測試，通過 OpenWebSearch 嚴格的質量和效能標準的功能和配置已進入該版本。
• 專注於效能：與專為測試而設計的實驗版本不同，版本 1 針對效能進行了優化。它旨在有效地對網路進行索引，併為開放網路索引專案提供有用的最新資料。

OpenWebSearch 的網路爬蟲程式的第二個版本計劃於明年釋出，將繼續這一創新、測試和實施週期，以確保 OpenWebSearch 索引工作的持續改進。

您可以隨時瞭解 OpenWebSearch 的最新進展，並瞭解有關 OpenWebSearch 的爬蟲版本的更多資訊：  https://opencode.it4i.eu/openwebsearcheu-public/owler。如果您還有任何疑問，請隨時與 OpenWebSearch 聯絡。

您對自己網站的控制權至關重要。如果您希望阻止 OpenWebSearch.eu 的網路爬蟲訪問您的網站，可以通過更新網站的 robots.txt 檔案來實現。只需新增 OpenWebSearch.eu 的使用者代理識別符號即可。OpenWebSearch.eu 當前的使用者代理識別符號是 Owler@ows.eu/1（代表主爬蟲）和 Owler@ows.eu/X（代表實驗爬蟲），OpenWebSearch.eu 計劃推出第二版，識別符號是 Owler@ows.eu/2。為防止未來版本訪問您的網站，只需在檔案中新增 Owler@ows.eu/1、Owler@ows.eu/2 和 Owler@ows.eu/X 即可。

請按照以下步驟進行操作：

更新 robots.txt 檔案的指導原則

在您的 robots.txt 檔案中新增我們的使用者代理識別符號是控制 OpenWebSearch 的網路爬蟲訪問您的網站的一種簡單而有效的方法。以下是如何操作的分步指南：

1. 訪問您網站的 robots.txt 檔案

該檔案通常位於您網站的根目錄下。例如，如果您的網站是 www.example.com，您可以在以下網址找到 robots.txt 檔案

www.example.com/robots.txt.

2. 編輯您的 robots.txt 檔案

用文字編輯器開啟檔案。它可以是任何可以檢視和編輯文字檔案的程式 – Windows 上的記事本、macOS 上的 TextEdit 或 Sublime Text 或 Visual Studio Code 等專用程式碼編輯器。

3. 新增 OpenWebSearch 的使用者代理識別符號

要阻止 OpenWebSearch 當前的網路爬蟲（版本 1），請在 robots.txt 檔案中新增以下行：

User-agent: Owler@ows.eu/1
Disallow: /

要阻止 OpenWebSearch 的實驗性網路爬蟲，請在 robots.txt 檔案中新增以下幾行：

User-agent: Owler@ows.eu/X
Disallow: /

要同時阻止 OpenWebSearch 計劃中的第 2 版網路爬蟲，請新增以下幾行：

User-agent: Owler@ows.eu/2
Disallow: /

要阻止 OpenWebSearch 的網路爬蟲的所有未來版本，請新增以下幾行：

User-agent: Owler@ows.eu/X
Disallow: /
User-agent: Owler@ows.eu/1
Disallow: /
User-agent: Owler@ows.eu/2
Disallow: /

4. 儲存更改

新增完這些行之後，儲存 robots.txt 檔案，必要時將其上傳回網站根目錄。

切記：” Disallow:/ “行告訴指定的使用者代理不要抓取網站上的任何頁面。如果只想阻止某些頁面，可以指定這些頁面而不用”/”。例如，” Disallow:/private“將阻止爬蟲訪問網站上包含 www.example.com/private 的任何頁面。

如需進一步說明，請隨時查閱 OpenWebSearch 的 GitLab 程式碼庫。如果您有其他問題或需要幫助，請隨時聯絡OpenWebSearch。