如何在你的電腦上離線執行類似於ChatGPT的LLaMa

現在市場上有很多人工智慧玩家，包括ChatGPT、Google Bard、Bing AI Chat，還有很多。然而，所有這些都需要你有一個網際網路連線來與人工智慧互動。如果你想在你的電腦上安裝一個類似的大型語言模型（LLM），並在本地使用它，怎麼辦？一個人工智慧聊天機器人，你可以在沒有網際網路連線的情況下私下使用。那麼，有了斯坦福大學釋出的新的Alpaca模型，你就可以接近這個現實了。是的，你可以在你的電腦上離線執行一個類似ChatGPT的語言模型。所以在這一點上，讓我們繼續學習如何在沒有網際網路的情況下在本地使用LLM。

在這篇文章中，我已經提到了關於如何在沒有網際網路的情況下在本地PC上執行類似ChatGPT的LLM的一切。你可以通過文章的TOC列表，詳細瞭解一下這些步驟。

• 什麼是Alpaca和LLaMA?
• 你需要什麼樣的硬體來執行Alpaca?
• 設定軟體環境以執行Alpaca和LLaMA
• 在你的電腦上安裝Alpaca和LLaMA模型

什麼是Alpaca和LLaMA?

Alpaca是由斯坦福大學的一群電腦科學家開發的小型人工智慧語言模型。Alpaca的獨特之處在於它的規模和成本效益。只有70億個引數，Alpaca和OpenAI的text-davinci-003模型一樣好。而且你可以在你的本地電腦上執行它，不需要網際網路連線。這是非常酷的，對嗎？

但它是如何被訓練的呢？令人驚訝的是，Alpaca是在LLaMa上進行微調的，LLaMa是Meta的大型語言模型，最近在網上洩露了。而為了訓練這個語言模型，科學家們使用OpenAI的 “text-davinci-003 “模型，生成了52K高質量的自我指導資料。有了這個資料集，他們使用HuggingFace的訓練框架對LLaMA模型進行了微調，併發布了Alpaca 7B。你也可以使用Meta的LLaMA模型，但在我的測試中，斯坦福的Alpaca LLM表現得更好，而且速度也相當快。

你需要什麼樣的硬體來執行Alpaca?

你可以在任何像樣的機器上使用Alpaca 7B。我在我的入門級電腦上安裝了Alpaca 7B，它執行得相當好。為了讓你瞭解情況，我的電腦採用了第十代英特爾i3處理器，配有256GB的固態硬碟和8GB的記憶體。對於GPU，我使用Nvidia的入門級GeForce GT 730 GPU，配備2GB的VRAM。

即使沒有專用的GPU，你也可以在本地執行Alpaca。但是，響應時間會很慢。除此之外，還有使用者甚至能夠在Raspberry Pi 4這樣的小型計算機上執行Alpaca。所以你可以推斷，Alpaca語言模型也可以很好地在入門級電腦上執行。

設定軟體環境以執行Alpaca和LLaMA

Windows

在Windows上，你需要安裝Python、Node.js和C++來開始在你的計算機上離線使用大型語言模型。下面是如何進行的。

1. 首先，從這裡下載Python 3.10（或以下）。向下滾動並點選 “Windows installer (64-bit)” 來下載安裝檔案。

2. 啟動安裝檔案，啟用 “Add Python.exe to PATH” 旁邊的覈取方塊。現在，用所有的預設設定安裝Python。

3. 之後，從這裡安裝Node.js 18.0版（或以上）。在安裝程式時，保持一切預設。

4. 最後，從這個連結免費下載Visual Studio “Community” 版。

5. 啟動Visual Studio 2022設定檔案，它最初會下載一些檔案。之後，將啟動一個新的視窗。在這裡，確保 “Desktop development with C++” 被啟用。

6. 最後，點選 “Install“，等待它完成安裝。

7. 我建議在所有東西都安裝完畢後，重新啟動你的計算機。接下來，開啟 “Command Prompt“，執行以下命令，檢查Python和Node.js是否安裝成功。兩者都應該返回版本號。現在就可以開始了。

python --version
node --version

Apple macOS

Python一般預裝在macOS上，所以你只需要安裝Node.js（18.0版或以上）。下面是你的操作方法：

1. 從這裡的連結下載Node.js macOS安裝程式（18.0版或以上）。

2. 接下來，開啟終端，執行以下命令，檢查Node.js是否正確安裝。如果你得到一個版本號的資訊反饋，你就可以開始了。

node --version

3. 接下來，通過執行下面的命令檢查Python的版本。它應該是Python 3.10或以下版本。

python3 --version

4. 如果你沒有得到輸出，或者你碰巧有最新的Python版本，請從這裡下載Python 3.10（或以下）。向下滾動並點選 “macOS 64-bit universal2 installer” 來下載Python。現在，在你的Mac上安裝它。

Linux 和 ChromeOS

在Linux和ChromeOS上，你需要在執行離線Alpaca和LLaMA模型之前設定Python和Node.js。以下是需要遵循的步驟。

1. 開啟終端，執行下面的命令來檢查Python版本。如果是Python 3.10或以下，你就可以了。

python3 --version

2. 如果你有更高的版本，你可以使用下面的命令在Linux和ChromeOS上安裝Python 3.10。

sudo apt install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get update
sudo apt-get install python3.10

3. 在Python之後，通過執行以下命令安裝Node.js。

sudo apt install nodejs

4. 安裝完成後，執行下面的命令來檢查Node.js的版本。它應該是18.0或更高。

node --version

在你的電腦上安裝Alpaca和LLaMA模型

一旦你設定好了Python和Node.js，就該在你的電腦上安裝和執行類似ChatGPT的LLM了。在你繼續之前，請確保終端檢測到 python 和 node 命令。

1. 開啟終端（在我的例子中是命令提示符），執行下面的命令來安裝Alpaca 7B LLM模型（大約需要4.2GB磁碟空間）。如果你想安裝Alpaca 13B模型，用 13B 代替 7B 。這個較大的模型需要8.1GB的空間。

npx dalai alpaca install 7B

2. 現在，輸入 “y” 並點選回車。這將開始安裝Alpaca 7B模型。整個過程將需要20至30分鐘，這取決於你的網際網路連線和模型的大小。

3. 安裝完成後，你會看到一個像這樣的螢幕。

4. 你可以選擇同時安裝LLaMA模型，或者進入下一步，立即測試Alpaca模型。記住，LLaMA的體積要大得多。它的7B模型需要多達31GB的空間。要安裝它，請執行下面的命令。你可以用 13B, 30B, 和 65B替換 7B。最大的模型需要多達432GB的空間。

npx dalai llama install 7B

5. 最後，執行下面的命令，它將立即啟動Webserver。

npx dalai serve

6. 在你的電腦上使用網路瀏覽器，開啟以下地址。這將使你進入網路使用者介面，在那裡你可以在本地和沒有網際網路的情況下測試Alpaca和LLaMA模型。

http://localhost:3000

7. 在這裡，你需要從右上角的 “model” 下拉選單中選擇 “Alpaca 7B” 或 “LLaMA 7B” 型號。由於我只安裝了Alpaca 7B模型，這是我的預設值。

8. 現在你可以在沒有網際網路連線的情況下在你的電腦上開始使用這個類似ChatGPT的語言模型。將 “PROMPT” 替換成你的查詢，然後點選 “Go”。

9. 下面是我在Windows電腦上執行本地Alpaca LLM伺服器時的資源使用情況。

10. 如果你想刪除下載的模型以釋放磁碟空間，請開啟你的使用者配置檔案目錄。這裡，”dalai” 資料夾有所有的檔案，包括模型。刪除 “dalai” 資料夾將立即釋放空間。

小結

因此，這就是你如何在你的本地PC上執行類似ChatGPT的LLM，並且也能獲得體面的結果。隨著時間的推移，將來會有新的、高效的LLM模型出現，這些模型可以在智慧手機和Raspberry Pi等小板計算機上執行。總之，這就是我們的全部內容。如果你想免費使用ChatGPT 4，請前往我們的連結文章，瞭解一些驚人的資源。如果你想根據自己的檔案來訓練人工智慧聊天機器人，我們為你準備了一份深度指南。最後，如果你面臨任何問題，請在下面的評論區告訴我們。