Awario crawler

是否攔截Awario crawler？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Awario crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Awario crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

機器人，也被稱為網路機器人、網路蜘蛛或網路爬蟲，是一種軟體應用程式，旨在以比人類更有效、更有條理和更簡潔的方式自動執行簡單和重複的任務。機器人最常見的用途是在網路蜘蛛或網路爬行中。

AwarioSmartBot和AwarioRssBot是Awario傳送的合法網路爬蟲，用於發現和收集新的和更新的網路資料（這些資料被世界各地的網際網路營銷人員進一步使用）。

AwarioSmartBot和AwarioRssBot爬蟲通過具有以下形式的使用者代理來識別：

AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)

AwarioSmartBot和AwarioRssBot爬蟲可以通過上面的使用者代理來識別。請不要試圖通過IP來識別機器人，因為我們不使用任何連續的IP塊。

我們關心你的網站的效能

AwarioSmartBot和AwarioRssBot是非常友好的網站爬蟲。我們讓它們在抓取網站時儘可能地 “溫柔”：它們每3秒只發出一次請求，如果在你的robots.txt檔案中指定了另一個抓取延遲，則會更頻繁。這些機器人尊重你在 robots.txt 檔案中指定的規則。

如果出現任何問題，可能是由於你的特定網站的特殊性，或連結到你的其他網站的錯誤。因此，我們想請你 – 如果你注意到Awario機器人的任何問題，請報告給bots@awario.com。我們將迅速為您的特定網站進行獨特的設定，使抓取永遠不會影響您網站的效能。

為什麼他們會抓取我的網站？

AwarioSmartBot和AwarioRssBot收集網路資料，這些資料被Awario應用程式進一步使用，讓網路營銷人員發現誰在網上提到他們的品牌。

如果AwarioSmartBot/AwarioRssBot爬蟲訪問過你的頁面，這意味著其內容從未被收集和分析過，也不需要重新整理。由於這個原因，你不會看到AwarioSmartBot/AwarioRssBot爬蟲對同一頁面的重複請求。

用robots.txt進行攔截

AwarioSmartBot和AwarioRssBot是：

1. 只收集可由任何隨機訪問者訪問的公開資訊。如果你認為爬蟲收集了一些敏感資訊，請將其從公開訪問中刪除。
2. 不能使你的網站過載並對其造成任何傷害–Awario機器人的設計非常有禮貌，它們每3秒最多隻能進行一次點選。此外，你可以通過robots.txt檔案中的指令輕鬆減緩機器人的速度。

然而，即使Awario機器人是無害的，你仍然可能想阻止機器人抓取你的網站。最簡單、最快速的方法是使用 “robots.txt”。這個文字檔案包含關於機器人應如何處理你的網站資料的指示。
使用robots.txt檔案，你可以阻止Awario爬蟲進入你的網站，或減緩它們的速度，如以下例子所示：

禁用抓取你的網站的特定部分

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /private/

整站禁用抓取

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Disallow: /

限制爬蟲頻率

User-agent: AwarioRssBot
User-agent: AwarioSmartBot
Crawl-delay: 10

關於爬蟲的更多資訊

關於爬蟲的更多資訊，請參考http://www.robotstxt.org/。

獲得支援

如果您對AwarioSmartBot或AwarioRssBot仍有任何疑問，請通過郵箱取得聯絡：bots@awario.com。