Pagespeed

是否拦截Pagespeed？

一般不拦截。此类爬虫通常由诸如Pingdom, Gtmetrix和PageSpeed Insights等网站测速工具发起，且一般为网站所有者所为。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Pagespeed 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: Pagespeed
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

关于 Pagespeed.de

Pagespeed仅测量主域（https://meinedomain.de）
(不是 https://meinedomain.de/irgendwas.html 或 https://meinedomain.de/irgendwas/）。
子目录或特定文件的规范将被过滤掉。

谷歌™测试表明，加载时间> 4 秒的页面离开的频率和直接程度要高出 90%。

速度测试由德国的专用服务器执行，具有120千兆位连接。

Pagespeed.de 不断被修改。添加了许多函数和新值。网站的速度现在得到了更好的确定，并且还有一个新的网站存档。评估现在还会输出 Javascript 和图像。此外，还可以确定是否打开压缩。显示并评估保存的数据量。计划进行进一步的评估，但需要一些时间。Pagespeed的计算方式与谷歌类似。（ 谷歌Pagespeed ）但是，脚本在评估中有所不同。在 Pagespeed.de，更加强调服务器速度。谷歌甚至不会在 200 毫秒内输出这些。只有当一个网站在服务器速度上失败时，才会输出数据。在 Pagespeed.de，输出有关网站速度的所有数据。此外，还提供了有价值的提示来提高他的页面速度。CSS 图像尚未评估。

测量什么以及如何测量？

Pagespeed仅测量页面的直接加载时间，嵌入在标题中的javascript和嵌入式图形。通过CSS调用的图像不会被测量！因此，这些只是简短的性能测试，它们大致对应于Google机器人的功能。

结果以彩色显示。绿色值通常很好，红色值表示高负载/延迟时间*，因此表示大量数据和/或响应时间较慢。在某些区域也标记了过多的数据。

禁止Pagespeed爬虫

另一个新功能是锁定 Pagespeed.de 爬虫的功能。如果您不希望您的网站经过测试，我们会尊重。有一个关于如何禁止 Pagespeed.de 爬虫从您自己的网站进行测试的指南。我们认为这很遗憾，但这是你的权利。只需在机器人中添加2行.txt Pagespeed.de 爬虫不会访问您的网站。爬虫遵循robots.txt规则，但我们建议运行页面速度测试并将数据牢记在心。如果您的网站速度很慢，您会在存档中找到有价值的提示，以提高页面速度。

阻止Pagespeed爬虫的代码示例

User-agent: pagespeedbot
Disallow: /

使用User-Agent：pagespeedbot，您可以禁止 Pagespeed.de 读取您的URL。请小心机器人.txt并测试整个东西。并不是说所有爬虫/机器人都会在他们的网站上被禁止。顺便说一句，也带有通配符。

阻止所有爬虫 – 请小心！

User-agent: *
Disallow: /

使用此代码，我们的机器人将不会访问您的网站。但是，使用此代码，所有爬虫都被锁定（谁坚持使用它……），包括Google爬虫。小心！