Meta 的 Llama 4 是開源人工智慧領域的一次重大飛躍,它提供了多模態支援、專家混合架構和海量上下文視窗。但真正讓它與眾不同的是它的可訪問性。無論您是在構建應用程式、執行實驗還是擴充套件人工智慧系統,都有多種方法可以透過 API 訪問 Llama 4。在本教學中,我將向您展示如何在一些最好的 API 平臺(如 OpenRouter、Hugging Face、GroqCloud 等)上訪問和使用 Llama 4 Scout 和 Maverick 模型。
Llama 4的主要特點和功能
- 原生多模態與早期融合:從一開始就使用早期融合技術處理文字和影像。每個提示最多支援 5 張圖片–非常適合圖片說明、視覺問答等。
- 專家混合(MoE)架構:將每項輸入路由到一小部分專家網路,從而提高效率。
- Scout:17B 活動/總計 109B,16 位專家
- Maverick:17B 啟用/總計 400B,128 位專家
- Behemoth:288B 活動/ ~2T 總計(訓練中)
- 擴充套件上下文視窗:輕鬆處理長輸入。
- Scout:最多 1 千萬代幣
- Maverick:多達 100 萬個詞庫
- 多語言支援:本機支援 12 種語言,並在 200 多種語言的資料基礎上進行了訓練。在影像-文字任務中,英語效能最佳。
- 專家影像基礎:將文字連結到特定影像區域,實現精確的視覺推理和基於影像的高質量答案。
Llama 4在LMSYS Chatbot Arena中排名第二
在影像推理(MMMU:73.4%)、程式碼生成(LiveCodeBench:43.4%)和多語言理解(多語言 MMLU:84.6%)等關鍵任務中,Meta 的 Llama 4 Maverick 均優於GPT-4o 和 Gemini 2.0 Flash。
它還能在單個 H100 上高效執行,成本更低,部署更快。這些結果凸顯了 Llama 4 在強大功能、多功能性和經濟性之間的平衡,使其成為生產型人工智慧工作負載的有力選擇。
Source: Llmarena
如何使用Meta的Llama 4模型?
Meta 針對不同使用者的需求和技術專長,透過各種平臺和方法提供了訪問 Llama 4 的途徑。
透過Meta人工智慧平臺訪問Llama 4模型
試用 Llama 4 的最簡單方法是透過 Meta 的人工智慧平臺 meta.ai。您可以立即開始與助手聊天,無需註冊。它在 Llama 4 上執行,你可以透過詢問“你是哪個模型?Llama 3 還是 Llama 4?”助手會回答:“我是在 Llama 4 上構建的”。不過,這個平臺也有其侷限性:沒有 API 訪問許可權,自定義選項也很少。
從Llama.com下載模型權重
您可以從 llama.com 下載模型權重。您需要先填寫一份申請表。獲得批准後,您就可以獲得 Llama 4 Scout 和 Maverick。Llama 4 Behemoth 可能會稍後推出。這種方法可以完全控制。你可以在本地執行,也可以在雲端執行。但它最適合開發人員。沒有聊天介面。
透過API提供商訪問Llama 4模型
有幾個平臺提供了訪問 Llama 4 的 API,為開發人員提供了將模型整合到自己的應用程式中的工具。
OpenRouter
OpenRouter.ai 提供對 Llama 4 模型 Maverick 和 Scout 的免費 API 訪問。註冊後,您可以探索可用的模型、生成 API 金鑰並開始請求。OpenRouter 還包含一個內建聊天介面,可讓您在將響應整合到應用程式之前輕鬆進行測試。
Hugging Face
要透過“Hugging Face”訪問“Llama 4”,請按照以下步驟操作:
1. 建立一個Hugging Face賬號
如果還沒有註冊,請訪問 https://huggingface.co 並註冊一個免費帳戶。
2. 找到 Llama 4 模型庫
登入後,搜尋官方 Meta Llama 組織或特定的 Llama 4 模型,如 meta-llama/Llama-4-Scout-17B-16E-Instruct。你也可以在 Llama 網站或 Hugging Face 的部落格上找到官方資源庫的連結。
3. 請求訪問模型
瀏覽模型頁面,點選“請求訪問”按鈕。您需要在表格中填寫以下詳細資訊,如法定全名、出生日期、組織全名(無縮寫或特殊字元)、國家、所屬單位(如學生、研究員、公司)和職務。
您還需要仔細閱讀並接受《Llama 4 Community License Agreement》。填寫完所有欄位後,點選“Submit”請求訪問。請確保資訊準確無誤,因為提交後可能無法編輯。
4. 等待批准
提交申請後,Meta 將對您的申請進行稽覈。如果自動批准訪問,您將立即獲得訪問權。否則,稽覈過程可能需要幾小時到幾天。訪問批准後,您將收到電子郵件通知。
5. 以程式設計方式訪問模型
要在程式碼中使用模型,首先要安裝所需的庫:
pip install transformers Then, authenticate using your Hugging Face token: from huggingface_hub import login login(token="YOUR_HUGGING_FACE_ACCESS_TOKEN") (You can generate a "read" token from your Hugging Face account settings under Access Tokens.)
現在,載入並使用下圖所示的模型:
from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "meta-llama/Llama-4-Scout-17B-16E-Instruct" # Replace with your chosen model tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # Inference input_text = "What is the capital of India?" input_ids = tokenizer.encode(input_text, return_tensors="pt") output = model.generate(input_ids, max_length=50, num_return_sequences=1) print(tokenizer.decode(output[0], skip_special_tokens=True))
替代訪問選項:
- Hugging Face 推理 API:某些 Llama 4 模型可能提供 API 訪問,但可用性和成本取決於 Meta 的政策。
- 下載模型權重:一旦訪問許可權獲得批准,您就可以從模型庫下載權重供本地使用。
完成這些步驟並滿足批准標準後,您就可以在 Hugging Face 平臺上成功訪問和使用 Llama 4 模型。
Cloudflare Workers AI
Cloudflare 透過其 Workers AI 平臺將 Llama 4 Scout 作為無伺服器 API 提供。您只需進行最少的設定,就能透過 API 呼叫呼叫模型。內建的 AI 遊戲場地可用於測試,無需賬戶即可開始基本訪問,非常適合輕量級或實驗性使用。
Snowflake Cortex AI
對於 Snowflake 使用者,可以在 Cortex AI 環境中訪問 Scout 和 Maverick。這些模型可透過 SQL 或 REST API 使用,實現與現有資料管道和分析工作流的無縫整合。這對已經利用 Snowflake 平臺的團隊尤其有用。
Amazon SageMaker JumpStart 和 Bedrock
Llama 4 已整合到亞馬遜 SageMaker JumpStart 中,並計劃在 Bedrock 中提供。透過 SageMaker 控制檯,您可以輕鬆部署和管理模型。如果您已經在 AWS 上進行構建,並希望將 LLM 嵌入到雲原生解決方案中,這種方法尤其有用。
GroqCloud
GroqCloud 提供 Scout 和 Maverick 的早期訪問許可權。您可以透過 GroqChat 或 API 呼叫使用它們。註冊後可免費使用,付費層級可提供更高的限制,因此既適合探索,也適合擴充套件到生產中。
經過簡單的註冊程式後,Together AI 即可提供 Scout 和 Maverick 的 API 訪問許可權。開發人員在註冊後可獲得免費點數,並可立即開始使用已發放金鑰的 API。它對開發人員友好,並提供高效能推理。
Replicate
Replicate 承載著 Llama 4 Maverick Instruct,可使用其 API 執行。定價基於令牌使用量,因此你只需為你所使用的令牌付費。對於希望進行實驗或構建輕量級應用的開發人員來說,這是一個不錯的選擇,而且無需前期基礎設施成本。
Fireworks AI
Fireworks AI 還透過無伺服器 API 提供 Llama 4 Maverick Instruct。開發人員可以根據 Fireworks 的文件進行設定,並迅速開始生成響應。對於那些希望在不管理伺服器的情況下大規模執行 LLM 的人來說,這是一個簡潔的解決方案。
訪問Llama 4模型的平臺和方法
PlatformModels AvailableAccess MethodKey Features/NotesMeta AIScout, MaverickWeb Interface即時訪問,無需註冊,有限的自定義,無API訪問。Llama.comScout, MaverickDownload需要批准,全模型權重訪問,適用於本地/雲部署。 OpenRouterScout,MaverickAPI,Web 介面免費 API 訪問,無等待名單,可能適用費率限制。Hugging FaceScout,MaverickAPI,DownloadGated access form,Inference API,下載權重,適用於開發人員。Cloudflare Workers AIScoutAPI,Web 介面(Playground)無伺服器,處理基礎設施、API 請求。 Amazon SageMaker JumpStartScout, MaverickConsoleAvailable now.Amazon BedrockScout, MaverickComing SoonFully managed, serverless option.GroqCloudScout, MaverickAPI, Web Interface (GroqChat, Console)註冊後免費訪問,付費層級用於擴充套件。 Together AIScout、MaverickAPIR需要賬戶和API金鑰,新使用者可免費使用。ReplicateMaverick InstructAPIP按令牌收費。Fireworks AIMaverick Instruct (Basic)API, On-demand Deployment詳細訪問說明請參考官方文件。
平臺 | 支援模型 | 訪問方式 | 關鍵特徵/備註 |
---|---|---|---|
Meta AI | Scout, Maverick | 網頁 | 即時訪問、無需註冊、有限定製、無 API 訪問許可權。 |
Llama.com | Scout, Maverick | 下載 | 需要批准,完全模式權重訪問,適合本地/雲部署。 |
OpenRouter | Scout, Maverick | API,網頁 | 免費 API 訪問,無等待名單,可能有費率限制。 |
Hugging Face | Scout, Maverick | API,下載 | 有限制的訪問形式,推理 API,下載權重,適用於開發人員。 |
Cloudflare Workers AI | Scout | API,網頁 (Playground) | 無伺服器,處理基礎設施、API 請求。 |
Snowflake Cortex AI | Scout, Maverick | SQL Functions,REST API | Snowflake 內的整合訪問,適用於企業應用。 |
Amazon SageMaker JumpStart | Scout, Maverick | 控制檯 | 現已推出。 |
Amazon Bedrock | Scout, Maverick | 即將提供 | 完全託管、無伺服器選項。 |
GroqCloud | Scout, Maverick | API,網頁 (GroqChat, Console) | 註冊後可免費訪問,付費層級用於擴充套件。 |
Together AI | Scout, Maverick | API | 需要賬戶和 API 金鑰,新使用者可免費使用。 |
Replicate | Maverick Instruct | API | 按令牌計價。 |
Fireworks AI | Maverick Instruct (Basic) | API,On-demand Deployment | 詳細訪問說明請查閱官方文件。 |
透過API介面試用Llama 4 Scout和Maverick
在本比較中,我們將評估 Meta 的 Llama 4 Scout 和 Maverick 模型在各種任務類別(如摘要、程式碼生成和多模態影像理解)中的表現。所有實驗均在 Google Colab 上進行。為簡單起見,我們使用 userdata 訪問我們的 API 金鑰,其中包含對金鑰的簡短引用。
下面是我們如何使用 Groq 透過 Python 對每個模型進行測試的快速一瞥:
前提條件
在深入學習程式碼之前,請確保您已設定好以下內容:
- GroqCloud 賬戶
- 將您的 Groq API 金鑰設定為環境變數 (GROQ_API_KEY)
- 已安裝 Groq Python SDK:
pip install groq
設定:初始化Groq客戶端
現在,在筆記本中初始化 Groq 客戶端:
import os from groq import Groq # Set your API key os.environ["GROQ_API_KEY"] = userdata.get('Groq_Api') # Initialize the client client = Groq(api_key=os.environ.get("GROQ_API_KEY"))
任務 1:總結長篇文件
我們向兩個模型提供了一段關於人工智慧進化的長文,並要求它們做出簡明扼要的總結。
Llama 4 Scout
long_document_text = """<your long document goes here>""" prompt_summary = f"Please provide a concise summary of the following document:\n\n{long_document_text}" # Scout summary_scout = client.chat.completions.create( model="meta-llama/llama-4-scout-17b-16e-instruct", messages=[{"role": "user", "content": prompt_summary}], max_tokens=500 ).choices[0].message.content print("Summary (Scout):\n", summary_scout)
輸出:
Llama 4 Maverick
# Maverick summary_maverick = client.chat.completions.create( model="meta-llama/llama-4-maverick-17b-128e-instruct", messages=[{"role": "user", "content": prompt_summary}], max_tokens=500 ).choices[0].message.content print("\nSummary (Maverick):\n", summary_maverick)
輸出:
任務 2:根據描述生成程式碼
我們要求兩個模型根據簡單的功能提示編寫一個 Python 函式。
Llama 4 Scout
code_description = "Write a Python function that takes a list of numbers as input and returns the average of those numbers." prompt_code = f"Please write the Python code for the following description:\n\n{code_description}" # Scout code_scout = client.chat.completions.create( model="meta-llama/llama-4-scout-17b-16e-instruct", messages=[{"role": "user", "content": prompt_code}], max_tokens=200 ).choices[0].message.content print("Generated Code (Scout):\n", code_scout)
輸出:
Llama 4 Maverick
# Maverick code_maverick = client.chat.completions.create( model="meta-llama/llama-4-maverick-17b-128e-instruct", messages=[{"role": "user", "content": prompt_code}], max_tokens=200 ).choices[0].message.content print("\nGenerated Code (Maverick):\n", code_maverick)
輸出:
任務 3:影像理解(多模態)
我們向兩個模型提供了相同的圖片 URL,並要求其詳細描述圖片內容。
Llama 4 Scout
image_url = "https://cdn.analyticsvidhya.com/wp-content/uploads/2025/04/Screenshot-2025-04-06-at-3.09.43%E2%80%AFAM.webp" prompt_image = "Describe the contents of this image in detail. Make sure it’s not incomplete." # Scout description_scout = client.chat.completions.create( model="meta-llama/llama-4-scout-17b-16e-instruct", messages=[ { "role": "user", "content": [ {"type": "text", "text": prompt_image}, {"type": "image_url", "image_url": {"url": image_url}} ] } ], max_tokens=150 ).choices[0].message.content print("Image Description (Scout):\n", description_scout)
輸出:
Llama 4 Maverick
# Maverick description_maverick = client.chat.completions.create( model="meta-llama/llama-4-maverick-17b-128e-instruct", messages=[ { "role": "user", "content": [ {"type": "text", "text": prompt_image}, {"type": "image_url", "image_url": {"url": image_url}} ] } ], max_tokens=150 ).choices[0].message.content print("\nImage Description (Maverick):\n", description_maverick)
輸出:
任務分析
任務 | Llama 4 Scout | Llama 4 Maverick |
---|---|---|
1. 長文件摘要 | 優勝者:Scout 憑藉其出色的 10M 標記上下文視窗,Scout 可輕鬆處理大文字,確保長摘要的上下文完整性。 |
亞軍 儘管語言能力很強,但 Maverick 的 1M 標記上下文視窗限制了其保留長距離依賴關係的能力。 |
2. 程式碼生成 | 亞軍 Scout 能生成功能性程式碼,但其輸出偶爾會遺漏細微的邏輯或技術工作流程中的最佳實踐。 |
優勝者:Maverick Maverick專門從事開發任務,始終按照使用者意圖提供精確、高效的程式碼。 |
3. 影像描述(多模態) | 功能強大 雖然 Scout 可以處理影像輸入並做出正確響應,但在需要精細的視覺和文字連線的場景中,其輸出可能會讓人感覺很一般。 |
優勝者:Maverick 作為一個原生的多模態模型,Maverick 在影像理解方面表現出色,能夠生成生動、詳細和上下文豐富的描述。 |
Llama 4 Scout 和 Llama 4 Maverick 都具有令人印象深刻的功能,但它們在不同的領域大放異彩。Scout 擅長處理長篇內容,這得益於其擴充套件的上下文視窗,使其成為總結和快速互動的理想選擇。
另一方面,Maverick 在技術任務和多模態推理方面表現突出,在程式碼生成和影像解讀方面精度更高。在兩者之間做出選擇,最終取決於您的具體使用情況–使用 Scout,您可以獲得廣度和速度;而使用 Maverick,您可以獲得深度和精度。
小結
Llama 4 是人工智慧進步的重要一步。它是一個具有強大功能的頂級多模態模型。它能原生處理文字和影像。它的專家混合設定非常高效。它還支援長上下文視窗。這使其功能強大而靈活。Llama 4 是開源的,可廣泛訪問。這有助於創新和廣泛採用。Behemoth 等更大的版本正在開發中。這表明 Llama 生態系統在不斷發展壯大。
常見問題
Q1. 什麼是 Llama 4?
A. Llama 4 是 Meta 最新一代的大型語言模型 (LLM),代表了多模態人工智慧領域的重大進步,具有原生文字和影像理解能力,採用專家混合架構以提高效率,並擴充套件了上下文視窗功能。
Q2. Llama 4 的主要特點是什麼?
A. 主要特點包括:原生多模態與文字和影像處理的早期融合、可實現高效效能的專家混合(MoE)架構、擴充套件的上下文視窗(Llama 4 Scout 可提供多達 1,000 萬個詞庫)、強大的多語言支援以及專家影像基礎。
Q3. Llama 4 系列有哪些不同型號?
A. 主要模型有 Llama 4 Scout(170 億個活動引數,總計 1,090 億個)、Llama 4 Maverick(170 億個活動引數,總計 4000 億個)和較大的教師模型 Llama 4 Behemoth(2880 億個活動引數,總計約 2 萬億個,目前正在訓練中)。
Q4. 如何訪問 Llama 4?
A. 您可以透過 Meta AI 平臺(meta.ai)訪問 Llama 4,也可以從 llama.com(經批准後)下載模型權重,還可以透過 OpenRouter、Hugging Face、Cloudflare Workers AI、Snowflake Cortex AI、Amazon SageMaker JumpStart(即將推出 Bedrock)、GroqCloud、Together AI、Replicate 和 Fireworks AI 等 API 提供商訪問。
Q5. Llama 4 是如何訓練的?
A. Llama 4 是在海量、多樣化的資料集(多達 40 萬億個代幣)上進行訓練的,訓練中使用了超引數最佳化 MetaP、多模態早期融合等先進技術,以及包括 SFT、RL 和 DPO 在內的複雜的後訓練管道。
評論留言