PetalBot

是否拦截PetalBot？

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 PetalBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: PetalBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

什么是PetalBot

PetalBot是Petal搜索引擎的一个自动程序。PetalBot的功能是访问PC和移动网站，并建立一个索引数据库，使用户能够在Petal搜索引擎中搜索你的网站内容，并在华为助手和AI搜索服务中为用户呈现内容推荐，这两项服务都是由Petal搜索引擎提供。你可以通过分析User-agent字段来识别来自Petal的抓取。

PetalBot的User-Agent是什么？

如何拦截PetalBot访问您的网站

PetalBot遵从互联网机器人协议。你可以使用robots.txt文件完全阻止PetalBot访问你的网站，或者阻止PetalBot访问你网站上的某些文件。

注意：禁止PetalBot访问你的网站将使你网站上的网页和Petal提供的所有搜索引擎服务无法在Petal搜索引擎中搜索到。

设置建议

您可以根据每个产品的不同用户代理设置不同的抓取规则，也可以直接阻止PetalBot的抓取。以下机器人可以防止Petal爬行或有条件允许。

User-agent: PetalBot

Disallow: /

User-agent: PetalBot

Allow: /w/api/

Disallow: /trap/

PetalBot给网络服务器带来多大的压力

为了对目标资源有更好的检索结果，PetalBot需要对您的网站保持一定的抓取量。PetalBot尽量不给网站带来不合理的负担，PetalBot会根据服务器容量、网站质量、网站更新等综合因素做出调整。如果PetalBot的访问有任何不合理的行为，请将您的关注发送到petalbot@huawei.com。

如何判断PetalBot的抓取情况

你可以验证访问你服务器的网络爬虫是否真的是PetalBot。

要验证PetalBot是调用者：

1. 使用host命令，对日志中的访问IP地址进行DNS反向查询。
2. 验证域名是否在aspiegel.com中。
3. 在步骤1中检索到的域名上运行一个正向的DNS查询，在检索到的域名上使用host命令。验证它是否与日志中的原始访问IP地址相同。

例如：

$ host 114.119.128.10

.in-addr.arpa domain name pointer petalbot-114-119-128-10.petalsearch.com

$ host petalbot-114-119-128-10.petalsearch.com

petalbot-114-119-128-10.petalsearch.com has address 114.119.128.10

为什么我的网站已经被添加到robots.txt中，但仍能在Petal中找到？

更新搜索引擎索引数据库中的数据需要时间。尽管PetalBot已经停止访问你网站上的页面，但可能需要几个月的时间来清除Petal搜索引擎数据库中已经建立的页面索引信息。此外，请检查你的机器人配置是否正确。如果你的拒绝非常紧急，请将你的请求发送到petalbot@huawei.com。