人工智慧徹底改變了我們的工作方式，幫助我們完成從編碼到創意寫作的所有工作。然而，這些工具中的許多都依賴於網際網路接入和第三方服務，從而引發了人們對離線時隱私和可靠性的擔憂。
這就需要一種本地優先的方法，比如 Ollama 。它可以讓你在計算機上直接使用各種 LLM 執行人工智慧，而無需網際網路連線。
無論您是尋求程式碼幫助的開發人員，還是探索人工智慧功能的人，Ollama 都是您工具包中的好幫手。它支援多種模型，並提供了一個應用程式介面（API），可用於與模型進行程式設計互動。
安裝Ollama
要開始使用 Ollama，你需要在電腦上安裝它。
前往下載頁面，為你的電腦選擇合適的安裝程式。它支援 macOS、Windows 和 Linux，還附帶了官方 Docker 映象。
如果你使用的是 macOS，也可以通過執行下面的命令用 Homebrew 安裝：
brew install ollama
安裝完成後，你可以在終端執行 ollama --version 來驗證，檢視當前安裝的版本。
執行Ollama
現在我們已經安裝了 Ollama，可以開始用它執行 LLM。我們可以從 Ollama 的模型庫中選擇一個 LLM。
在本例中，我們將執行 llama3.2 模型。
llama3.2 是 Meta 公司專為內容建立、摘要和檢索增強生成（RAG）等任務而設計的模型。它支援多種語言，包括英語、西班牙語和法語，而且結構緊湊，非常適合輕量級應用。如果您需要更強大的功能，可以選擇像 llama3.3 這樣擁有 700 億個引數的大型模型。不過，較大的型號需要更多的計算資源，因此在更換之前，請確保您的系統能夠承受。
要在 Ollama 中使用 llama3.2，我們可以鍵入
ollama run llama3.2
如果這是您第一次執行此模型，Ollama 會下載模型檔案並將其快取到您的計算機上。根據網速，這個過程可能需要幾分鐘。
下載完成後，我們就可以在終端上開始與它互動了。它將為您提供一個輸入提示，然後模型將根據您的輸入生成響應。
要在終端中退出與當前模型的互動，可以鍵入 /bye 或按鍵盤上的 Ctrl/Cmd + D。
Ollama API
Ollama 提供了一個 API，允許您以程式設計方式與其模型互動，您可以用它將其整合到您的應用程式、網站或其他專案中。
預設情況下，API 的訪問地址是 http://127.0.0.1:11434 ，下面是您可以用於這些目的的一些關鍵端點：
| 端點 | 說明 |
|---|---|
POST /api/generate |
使用提供的模型為給定提示生成回覆。 |
POST /api/embed |
使用提供的模型為給定文字生成嵌入。 |
GET /api/tags |
列出本地機器上可用的模型。 |
GET /api/ps |
列出當前正在執行的模型。 |
Ollama 還提供了 Python 和 JavaScript SDK，以便更輕鬆地與 API 互動。
與OpenAI相容
除了自己的 API 之外，Ollama 還為 OpenAI 的 API 提供了一個相容性層。這樣，您就可以在 Ollama 中重複使用為 OpenAI API 設計的程式碼和 SDK，從而更輕鬆地在兩者之間進行轉換。
不過，到目前為止，相容層還處於測試階段，某些功能可能還不能完美執行。為了獲得最佳體驗，建議直接使用 Ollama 的 API。
小結
Ollama 是一款強大而靈活的本地執行人工智慧的工具，它提供了隱私性、可靠性和對執行模型的完全控制。
藉助其 API 和工具，Ollama 為將人工智慧整合到專案中提供了無限可能。從生成快速響應到解決複雜問題，它都能提供無縫、私密的體驗。
敬請關注更多教學，我們將探索更多高階功能和用例！
評論留言