k6 crawler

k6 crawler蜘蛛/爬蟲屬於速度檢測型別,由Load Impact AB.開發執行。您可以繼續閱讀下方資訊,以深入瞭解k6 crawler基本資訊,使用者代理和訪問控制等。

基本資訊

k6 crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
k6 crawler
型別
速度檢測
開發商
Load Impact AB.
當前狀態
活動

使用者代理

關於k6 crawler蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
k6 cloud
使用者代理字串
k6 cloud (https://k6.io/)
首次出現
2020-10-16 09:05:26
最後出現
2023-01-04 06:23:58
遵循robots.txt
來源
IP地址(21) 伺服器名稱 所屬國家
34.229.190.176 ec2-34-229-190-176.compute-1.amazonaws.com US
34.201.102.58 ec2-34-201-102-58.compute-1.amazonaws.com US
3.80.185.120 ec2-3-80-185-120.compute-1.amazonaws.com US
3.90.21.167 ec2-3-90-21-167.compute-1.amazonaws.com US
34.200.213.12 ec2-34-200-213-12.compute-1.amazonaws.com US
3.216.78.118 ec2-3-216-78-118.compute-1.amazonaws.com US
3.112.74.136 ec2-3-112-74-136.ap-northeast-1.compute.amazonaws.com JP
35.180.40.112 ec2-35-180-40-112.eu-west-3.compute.amazonaws.com FR
18.163.112.38 ec2-18-163-112-38.ap-east-1.compute.amazonaws.com HK
18.163.33.239 ec2-18-163-33-239.ap-east-1.compute.amazonaws.com HK
54.208.69.183 ec2-54-208-69-183.compute-1.amazonaws.com US

訪問控制

瞭解如何控制k6 crawler訪問許可權,避免k6 crawler抓取行為不當。

是否攔截k6 crawler?

一般不攔截。此類爬蟲通常由諸如Pingdom, Gtmetrix和PageSpeed Insights等網站測速工具發起,且一般為網站所有者所為。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 k6 crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: k6 crawler
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: k6 crawler Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: k6 crawler
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

k6是一個開源工具和雲服務,使開發人員和QA工程師能夠輕鬆進行負載測試。

k6 crawler是k6的網站爬蟲,用於執行網站負載測試任務,所以一般情況下只有您使用k6對您的網站執行測試任務的時候,你才有可能在伺服器日誌看到k6 crawler。

常見蜘蛛/爬蟲

Common Spiders
Pagespeed
Pagespeed蜘蛛/爬蟲屬於速度檢測型別,由Alexander Muller開發執行。您可以繼續閱讀下方資訊,以深入瞭解Pagespeed基本資訊,使用者代理和訪問控制等。
InternetMeasurement
InternetMeasurement蜘蛛/爬蟲屬於速度檢測型別,由internet-measurement.com開發執行。您可以繼續閱讀下方資訊,以深入瞭解InternetMeasurement基本資訊,使用者代理和訪問控制等。
KeyCDN bot
KeyCDN bot蜘蛛/爬蟲屬於速度檢測型別,由proinity GmbH開發執行。您可以繼續閱讀下方資訊,以深入瞭解KeyCDN bot基本資訊,使用者代理和訪問控制等。
Pingdom.com bot
Pingdom.com bot蜘蛛/爬蟲屬於速度檢測型別,由SolarWinds Worldwide, LLC開發執行。您可以繼續閱讀下方資訊,以深入瞭解Pingdom.com bot基本資訊,使用者代理和訪問控制等。
k6 crawler
k6 crawler蜘蛛/爬蟲屬於速度檢測型別,由Load Impact AB.開發執行。您可以繼續閱讀下方資訊,以深入瞭解k6 crawler基本資訊,使用者代理和訪問控制等。
GTmetrix
GTmetrix蜘蛛/爬蟲屬於速度檢測型別,由Gossamer Threads Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解GTmetrix基本資訊,使用者代理和訪問控制等。
Google Page Speed Insights
Google Page Speed Insights蜘蛛/爬蟲屬於速度檢測型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Google Page Speed Insights基本資訊,使用者代理和訪問控制等。
Neustar WPM
Neustar WPM蜘蛛/爬蟲屬於速度檢測型別,由Neustar, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Neustar WPM基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles