Pagespeed

Pagespeed蜘蛛/爬蟲屬於速度檢測型別,由Alexander Muller開發執行。您可以繼續閱讀下方資訊,以深入瞭解Pagespeed基本資訊,使用者代理和訪問控制等。

基本資訊

Pagespeed的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Pagespeed
型別
速度檢測
開發商
Alexander Muller
當前狀態
活動

使用者代理

關於Pagespeed蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Pagespeed/1.1
使用者代理字串
Mozilla/5.0 (compatible; Pagespeed/1.1 Fetcher; +http://www.pagespeed.de)
首次出現
2015-02-16 08:00:00
最後出現
2025-01-10 17:57:02
遵循robots.txt
未知
來源
IP地址(15) 伺服器名稱 所屬國家
2a01:4f8:242:534d::3 host.seo-nw10.de DE
49.12.121.178 host.seo-nw10.de DE
2a01:4f8:242:534d::2 2a01:4f8:242:534d::2 DE
85.214.42.105 host.seo-nw4.de DE
81.169.151.192 host.seo-nw3.de DE
83.169.1.235 host.seo-nw4.de DE
2a01:488:66:1000:53a9:1eb:0:1 2a01:488:66:1000:53a9:1eb:0:1 DE
2a01:4f8:c17:29c3::2 2a01:4f8:c17:29c3::2 DE
78.47.154.94 host.seo-nw11.de DE
2a01:488:66:1000:523:f75e:0:1 2a01:488:66:1000:523:f75e:0:1 DE
2a01:4f8:151:240b::3 host.seo-nw12.de DE
176.9.86.53 host.seo-nw12.de DE
2a01:239:0:fb::1 host.seo-nw4.de DE

訪問控制

瞭解如何控制Pagespeed訪問許可權,避免Pagespeed抓取行為不當。

是否攔截Pagespeed?

一般不攔截。此類爬蟲通常由諸如Pingdom, Gtmetrix和PageSpeed Insights等網站測速工具發起,且一般為網站所有者所為。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Pagespeed 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Pagespeed
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Pagespeed Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Pagespeed
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

關於 Pagespeed.de

Pagespeed僅測量主域(https://meinedomain.de)
(不是 https://meinedomain.de/irgendwas.html 或 https://meinedomain.de/irgendwas/)。
子目錄或特定檔案的規範將被過濾掉。

谷歌™測試表明,載入時間> 4 秒的頁面離開的頻率和直接程度要高出 90%。

速度測試由德國的專用伺服器執行,具有120千兆位連線。

Pagespeed.de 不斷被修改。新增了許多函式和新值。網站的速度現在得到了更好的確定,並且還有一個新的網站存檔。評估現在還會輸出 Javascript 和影象。此外,還可以確定是否開啟壓縮。顯示並評估儲存的資料量。計劃進行進一步的評估,但需要一些時間。Pagespeed的計算方式與谷歌類似。( 谷歌Pagespeed )但是,指令碼在評估中有所不同。在 Pagespeed.de,更加強調伺服器速度。谷歌甚至不會在 200 毫秒內輸出這些。只有當一個網站在伺服器速度上失敗時,才會輸出資料。在 Pagespeed.de,輸出有關網站速度的所有資料。此外,還提供了有價值的提示來提高他的頁面速度。CSS 影象尚未評估。

測量什麼以及如何測量?

Pagespeed僅測量頁面的直接載入時間,嵌入在標題中的javascript和嵌入式圖形。通過CSS呼叫的影象不會被測量!因此,這些只是簡短的效能測試,它們大致對應於Google機器人的功能。

結果以彩色顯示。綠色值通常很好,紅色值表示高負載/延遲時間*,因此表示大量資料和/或響應時間較慢。在某些區域也標記了過多的資料。

禁止Pagespeed爬蟲

另一個新功能是鎖定 Pagespeed.de 爬蟲的功能。如果您不希望您的網站經過測試,我們會尊重。有一個關於如何禁止 Pagespeed.de 爬蟲從您自己的網站進行測試的指南。我們認為這很遺憾,但這是你的權利。只需在機器人中新增2行.txt Pagespeed.de 爬蟲不會訪問您的網站。爬蟲遵循robots.txt規則,但我們建議執行頁面速度測試並將資料牢記在心。如果您的網站速度很慢,您會在存檔中找到有價值的提示,以提高頁面速度。

阻止Pagespeed爬蟲的程式碼示例

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
User-agent: pagespeedbot
Disallow: /
User-agent: pagespeedbot Disallow: /
User-agent: pagespeedbot
Disallow: /

使用User-Agent:pagespeedbot,您可以禁止 Pagespeed.de 讀取您的URL。請小心機器人.txt並測試整個東西。並不是說所有爬蟲/機器人都會在他們的網站上被禁止。順便說一句,也帶有萬用字元。

阻止所有爬蟲 – 請小心!

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
User-agent: *
Disallow: /
User-agent: * Disallow: /
User-agent: *
Disallow: /

使用此程式碼,我們的機器人將不會訪問您的網站。但是,使用此程式碼,所有爬蟲都被鎖定(誰堅持使用它……),包括Google爬蟲。小心!

常見蜘蛛/爬蟲

Common Spiders
Pagespeed
Pagespeed蜘蛛/爬蟲屬於速度檢測型別,由Alexander Muller開發執行。您可以繼續閱讀下方資訊,以深入瞭解Pagespeed基本資訊,使用者代理和訪問控制等。
InternetMeasurement
InternetMeasurement蜘蛛/爬蟲屬於速度檢測型別,由internet-measurement.com開發執行。您可以繼續閱讀下方資訊,以深入瞭解InternetMeasurement基本資訊,使用者代理和訪問控制等。
KeyCDN bot
KeyCDN bot蜘蛛/爬蟲屬於速度檢測型別,由proinity GmbH開發執行。您可以繼續閱讀下方資訊,以深入瞭解KeyCDN bot基本資訊,使用者代理和訪問控制等。
Pingdom.com bot
Pingdom.com bot蜘蛛/爬蟲屬於速度檢測型別,由SolarWinds Worldwide, LLC開發執行。您可以繼續閱讀下方資訊,以深入瞭解Pingdom.com bot基本資訊,使用者代理和訪問控制等。
k6 crawler
k6 crawler蜘蛛/爬蟲屬於速度檢測型別,由Load Impact AB.開發執行。您可以繼續閱讀下方資訊,以深入瞭解k6 crawler基本資訊,使用者代理和訪問控制等。
GTmetrix
GTmetrix蜘蛛/爬蟲屬於速度檢測型別,由Gossamer Threads Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解GTmetrix基本資訊,使用者代理和訪問控制等。
Google Page Speed Insights
Google Page Speed Insights蜘蛛/爬蟲屬於速度檢測型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Google Page Speed Insights基本資訊,使用者代理和訪問控制等。
Neustar WPM
Neustar WPM蜘蛛/爬蟲屬於速度檢測型別,由Neustar, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Neustar WPM基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles