CriteoBot

是否攔截CriteoBot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 CriteoBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: CriteoBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

什麼是CriteoBot?

Criteo爬蟲（CriteoBot）是一個訪問網頁並分析其內容的軟體，以便在網頁上提供相關廣告。

Criteo 爬蟲通過以下使用者代理識別：

CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)

為什麼Criteo爬蟲會訪問我的網站？

Criteo是一家全球領先的技術公司，為全世界的營銷人員提供可信賴的、有影響力的廣告。Criteo通過技術使各種規模的公司更好地瞭解和服務他們的客戶。Criteo正在建立上下文廣告服務，以幫助其出版商合作伙伴更好地實現其內容的貨幣化，並通過將其廣告與相關網頁更好地結合來支援廣告商。

為了支援其情境服務，Criteo將通過抓取網頁來分析公共網路內容。Criteo的技術將識別特定網頁上的內容類別。
例如：一篇關於運動和跑鞋的文章將被歸入 “運動 “類別和 “跑步 “子類別。

Criteo爬蟲何時訪問我的網站？

只有當您的網站向Criteo傳送請求，在您的域名上釋出廣告時，Criteo爬蟲才會嘗試訪問URL。Criteo爬蟲會限制對您網站的訪問。只有在編制的類別不再可用或不再是最新的時候，爬蟲才會請求訪問您的網站。

在我的網站上抓取哪些資料？

爬蟲不會提取或儲存任何原始碼；它只提供頁面公開內容的資料，如語言和內容的類別（如體育>跑步）。

Criteo Crawler是一個符合隱私的系統。抓取器不會訪問瀏覽您網站的使用者資料。抓取器只訪問網際網路上公開的資料。

我怎樣才能授權CriteoBot？

許多高階出版商明確允許Criteo Crawler訪問他們的網站。出版商從Criteo對其庫存的分類中獲益，以優化目標活動。

要批准 Criteo 爬蟲，請在 robots.txt 中新增一個單獨的段落，如下所示。

User-agent: CriteoBot/0.1
Disallow:

我怎樣才能排除CriteoBot？

如果您希望排除Criteo爬蟲不訪問您網站的特定部分，請在robots.txt中新增一個單獨的段落，並指定您想排除的路徑，如下所示。

User-agent: CriteoBot/0.1
Disallow: /path/

如果您希望排除Criteo爬蟲完全不訪問您的網站，請在robots.txt中單獨新增一段，如下所示。

User-agent: CriteoBot/0.1
Disallow: /

注意：Criteo爬蟲尊重爬行延遲指令（最長30秒，我們接受小數點，如0.1）。

更多資訊

如果您需要了解更多關於爬蟲的資訊，如果您是Criteo的直接合作夥伴，請聯絡您的Criteo代表，或向Criteo傳送電子郵件：crawler@criteo.com