PetalBot

是否攔截PetalBot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 PetalBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: PetalBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

什麼是PetalBot

PetalBot是Petal搜尋引擎的一個自動程式。PetalBot的功能是訪問PC和移動網站，並建立一個索引資料庫，使使用者能夠在Petal搜尋引擎中搜尋你的網站內容，並在華為助手和AI搜尋服務中為使用者呈現內容推薦，這兩項服務都是由Petal搜尋引擎提供。你可以通過分析User-agent欄位來識別來自Petal的抓取。

PetalBot的User-Agent是什麼？

如何攔截PetalBot訪問您的網站

PetalBot遵從網際網路機器人協議。你可以使用robots.txt檔案完全阻止PetalBot訪問你的網站，或者阻止PetalBot訪問你網站上的某些檔案。

注意：禁止PetalBot訪問你的網站將使你網站上的網頁和Petal提供的所有搜尋引擎服務無法在Petal搜尋引擎中搜尋到。

設定建議

您可以根據每個產品的不同使用者代理設定不同的抓取規則，也可以直接阻止PetalBot的抓取。以下機器人可以防止Petal爬行或有條件允許。

User-agent: PetalBot

Disallow: /

User-agent: PetalBot

Allow: /w/api/

Disallow: /trap/

PetalBot給網路伺服器帶來多大的壓力

為了對目標資源有更好的檢索結果，PetalBot需要對您的網站保持一定的抓取量。PetalBot儘量不給網站帶來不合理的負擔，PetalBot會根據伺服器容量、網站質量、網站更新等綜合因素做出調整。如果PetalBot的訪問有任何不合理的行為，請將您的關注傳送到petalbot@huawei.com。

如何判斷PetalBot的抓取情況

你可以驗證訪問你伺服器的網路爬蟲是否真的是PetalBot。

要驗證PetalBot是呼叫者：

1. 使用host命令，對日誌中的訪問IP地址進行DNS反向查詢。
2. 驗證域名是否在aspiegel.com中。
3. 在步驟1中檢索到的域名上執行一個正向的DNS查詢，在檢索到的域名上使用host命令。驗證它是否與日誌中的原始訪問IP地址相同。

例如：

$ host 114.119.128.10

.in-addr.arpa domain name pointer petalbot-114-119-128-10.petalsearch.com

$ host petalbot-114-119-128-10.petalsearch.com

petalbot-114-119-128-10.petalsearch.com has address 114.119.128.10

為什麼我的網站已經被新增到robots.txt中，但仍能在Petal中找到？

更新搜尋引擎索引資料庫中的資料需要時間。儘管PetalBot已經停止訪問你網站上的頁面，但可能需要幾個月的時間來清除Petal搜尋引擎資料庫中已經建立的頁面索引資訊。此外，請檢查你的機器人配置是否正確。如果你的拒絕非常緊急，請將你的請求傳送到petalbot@huawei.com。