如何在手機上執行Gemma 3n？

有沒有想過，你的口袋裡也能裝下一個強大的人工智慧助手？它不僅僅是一個應用程式，而是一個先進智慧、可配置、私密且高效能的人工智慧語言模型？來認識一下 Gemma 3n 吧。這不僅僅是一時興起的科技潮流，而是將高效能語言模型直接放在你的手中，在你的手機裡。無論你是在火車上構思部落格創意，在旅途中翻譯資訊，還是隻是想見證人工智慧的未來，Gemma 3n 都能為你帶來非常簡單且極其愉悅的體驗。讓我們開始一步步瞭解如何在你的移動裝置上實現所有人工智慧的魔力。

什麼是Gemma 3n？

Gemma 3n 是 Google Gemma 系列開放模型的成員之一；它旨在在智慧手機等資源匱乏的裝置上執行良好。 Gemma 3n 擁有約 30 億個引數，效能與效率兼具，是智慧助手、文字處理等裝置端 AI 任務的理想之選。

Gemma 3n效能與基準測試

Gemma 3n 專為在低資源裝置上實現速度和效率而設計，是 Google 開放式大型語言模型系列的最新成員，專為移動裝置、平板電腦和其他邊緣硬體設計。以下是其實際效能和基準測試的簡要評估：

Gemma 3n效能與基準測試

Source: Google AI for Developers

模型大小和系統要求

模型大小：E2B（5B 引數，有效記憶體 2B）和 E4B（8B 引數，有效記憶體 4B）。
RAM 要求：E2B 僅需 2GB RAM；E4B 僅需 3GB RAM——完全符合大多數現代智慧手機和平板電腦的效能要求。

速度和延遲

響應速度：生成首次響應的速度比之前的裝置端模型快 1.5 倍，在最新的移動處理器上，吞吐量通常為 60 到 70 個令牌/秒。
啟動和推理：首個令牌生成時間短至 0.3 秒，使聊天和助手應用程式能夠提供高度響應的體驗。

基準測試分數

LMArena 排行榜：E4B 是第一個得分超過 1300 分的 10B 以下引數模型，在各種任務中均優於類似大小的本地模型。
MMLU 得分：Gemma 3n E4B 得分約為 48.8%（代表紮實的推理能力和常識）。
智慧指數：E4B 得分約為 28，在 10B 引數規模的所有本地模型中均具有競爭力。

質量與效率創新

量化：支援 4 位和 8 位量化版本，質量損失極小，可在僅配備 2-3GB RAM 的裝置上執行。
多模態：E4B 模型可以在裝置上處理文字、影像、音訊甚至短影片，包含最多 32K 個 token 的上下文視窗（遠高於同規模大多數競爭對手）。
最佳化：利用多種技術，例如逐層嵌入 (PLE)、選擇性啟用引數，並使用 MatFormer 來最大化速度、最小化 RAM 佔用，並在佔用空間較小的情況下生成高質量的輸出。

Gemma 3n在移動裝置上有哪些優勢？

隱私：一切都在本地執行，因此您的資料將得到妥善保護。
速度：在裝置上處理意味著更快的響應時間。
無需網際網路：即使沒有有效的網際網路連線，移動裝置也能提供許多功能。
定製：將 Gemma 3n 與您想要的移動應用或工作流程結合使用。

先決條件

一部現代智慧手機（Android 或 iOS），擁有足夠的儲存空間和至少 6GB 的 RAM 以提高效能。具備安裝和使用移動應用程式的一些基本知識。

在移動裝置上執行Gemma 3n的分步指南

在移動裝置上執行Gemma 3n

步驟 1：選擇合適的應用程式或框架

許多應用程式和框架都支援在移動裝置上執行大型語言模型，例如 Gemma 3n，其中包括：

LM Studio：一款流行的應用程式，可透過簡單的介面在本地執行模型。
Mlc Chat (MLC LLM)：一款開源應用程式，可在 Android 和 iOS 平臺上進行本地 LLM 推理。
Ollama Mobile：如果它支援您的平臺。
自定義應用程式：某些應用程式允許您載入和開啟模型。（例如，適用於移動裝置的 Hugging Face Transformers 應用程式）。

步驟 2：下載Gemma 3n模型

您可以在模型庫（例如 Hugging Face）中搜尋“Gemma 3n”找到它，也可以在 Google 上搜尋並直接找到 Google 的 AI 模型版本。

注意：請務必選擇適用於移動裝置的量化版本（例如，4 位或 8 位），以節省空間和記憶體。

步驟 3：將模型匯入您的移動應用

現在啟動您的 LLM 應用（例如 LM Studio、MLC Chat）。
點選“Import”或“Add Model”按鈕。
然後瀏覽到您下載的 Gemma 3n 模型檔案並將其匯入。

注意：應用可能會引導您進行額外的最佳化或量化，以確保移動端功能正常。

步驟 4：設定模型首選項

配置效能與準確度的選項（量化程度越低，速度越快；量化程度越高，輸出效果越好；速度越慢）。如果需要，可以建立提示模板、對話風格、整合等。

步驟 5：現在，我們可以開始使用Gemma 3n了

使用聊天或提示介面與模型進行交流。您可以根據自己的喜好，隨意提問、生成文字或將其用作寫作/編碼助手。

獲得最佳效果的建議

關閉後臺程式以回收系統資源。
使用應用的最新版本以獲得最佳效能。
根據您的需求調整設定，找到效能與質量之間可接受的平衡點。

可能的用途

起草私人電子郵件和訊息。
即時翻譯和摘要。
為開發者提供裝置端程式碼輔助。
隨時隨地集思廣益，撰寫故事或部落格內容。

小結

在移動裝置上使用 Gemma 3n，即可在口袋中體驗先進人工智慧的無限可能，同時又不損害隱私和便捷性。無論您是略帶好奇心的 AI 技術普通使用者，還是尋求提升生產力的忙碌專業人士，亦或是熱衷於實驗的開發者，Gemma 3n 都能為您提供探索和個性化技術的各種機會。Gemma 3n 擁有眾多創新途徑，讓您無需連線網際網路即可發現簡化活動、激發新見解和建立聯絡的新方法。立即試用，瞭解 AI 如何助力您的日常生活，並隨時隨地享受樂趣！

AI助手 Gemma 3n

如何在手機上執行Gemma 3n？

文章目录

什麼是Gemma 3n？