如何在你的电脑上离线运行类似于ChatGPT的LLaMa

现在市场上有很多人工智能玩家，包括ChatGPT、Google Bard、Bing AI Chat，还有很多。然而，所有这些都需要你有一个互联网连接来与人工智能互动。如果你想在你的电脑上安装一个类似的大型语言模型（LLM），并在本地使用它，怎么办？一个人工智能聊天机器人，你可以在没有互联网连接的情况下私下使用。那么，有了斯坦福大学发布的新的Alpaca模型，你就可以接近这个现实了。是的，你可以在你的电脑上离线运行一个类似ChatGPT的语言模型。所以在这一点上，让我们继续学习如何在没有互联网的情况下在本地使用LLM。

在这篇文章中，我已经提到了关于如何在没有互联网的情况下在本地PC上运行类似ChatGPT的LLM的一切。你可以通过文章的TOC列表，详细了解一下这些步骤。

• 什么是Alpaca和LLaMA?
• 你需要什么样的硬件来运行Alpaca?
• 设置软件环境以运行Alpaca和LLaMA
• 在你的电脑上安装Alpaca和LLaMA模型

什么是Alpaca和LLaMA?

Alpaca是由斯坦福大学的一群计算机科学家开发的小型人工智能语言模型。Alpaca的独特之处在于它的规模和成本效益。只有70亿个参数，Alpaca和OpenAI的text-davinci-003模型一样好。而且你可以在你的本地电脑上运行它，不需要互联网连接。这是非常酷的，对吗？

但它是如何被训练的呢？令人惊讶的是，Alpaca是在LLaMa上进行微调的，LLaMa是Meta的大型语言模型，最近在网上泄露了。而为了训练这个语言模型，科学家们使用OpenAI的 “text-davinci-003 “模型，生成了52K高质量的自我指导数据。有了这个数据集，他们使用HuggingFace的训练框架对LLaMA模型进行了微调，并发布了Alpaca 7B。你也可以使用Meta的LLaMA模型，但在我的测试中，斯坦福的Alpaca LLM表现得更好，而且速度也相当快。

你需要什么样的硬件来运行Alpaca?

你可以在任何像样的机器上使用Alpaca 7B。我在我的入门级电脑上安装了Alpaca 7B，它运行得相当好。为了让你了解情况，我的电脑采用了第十代英特尔i3处理器，配有256GB的固态硬盘和8GB的内存。对于GPU，我使用Nvidia的入门级GeForce GT 730 GPU，配备2GB的VRAM。

即使没有专用的GPU，你也可以在本地运行Alpaca。但是，响应时间会很慢。除此之外，还有用户甚至能够在Raspberry Pi 4这样的小型计算机上运行Alpaca。所以你可以推断，Alpaca语言模型也可以很好地在入门级电脑上运行。

设置软件环境以运行Alpaca和LLaMA

Windows

在Windows上，你需要安装Python、Node.js和C++来开始在你的计算机上离线使用大型语言模型。下面是如何进行的。

1. 首先，从这里下载Python 3.10（或以下）。向下滚动并点击 “Windows installer (64-bit)” 来下载安装文件。

2. 启动安装文件，启用 “Add Python.exe to PATH” 旁边的复选框。现在，用所有的默认设置安装Python。

3. 之后，从这里安装Node.js 18.0版（或以上）。在安装程序时，保持一切默认。

4. 最后，从这个链接免费下载Visual Studio “Community” 版。

5. 启动Visual Studio 2022设置文件，它最初会下载一些文件。之后，将启动一个新的窗口。在这里，确保 “Desktop development with C++” 被启用。

6. 最后，点击 “Install“，等待它完成安装。

7. 我建议在所有东西都安装完毕后，重新启动你的计算机。接下来，打开 “Command Prompt“，运行以下命令，检查Python和Node.js是否安装成功。两者都应该返回版本号。现在就可以开始了。

python --version
node --version

Apple macOS

Python一般预装在macOS上，所以你只需要安装Node.js（18.0版或以上）。下面是你的操作方法：

1. 从这里的链接下载Node.js macOS安装程序（18.0版或以上）。

2. 接下来，打开终端，运行以下命令，检查Node.js是否正确安装。如果你得到一个版本号的信息反馈，你就可以开始了。

node --version

3. 接下来，通过运行下面的命令检查Python的版本。它应该是Python 3.10或以下版本。

python3 --version

4. 如果你没有得到输出，或者你碰巧有最新的Python版本，请从这里下载Python 3.10（或以下）。向下滚动并点击 “macOS 64-bit universal2 installer” 来下载Python。现在，在你的Mac上安装它。

Linux 和 ChromeOS

在Linux和ChromeOS上，你需要在运行离线Alpaca和LLaMA模型之前设置Python和Node.js。以下是需要遵循的步骤。

1. 打开终端，运行下面的命令来检查Python版本。如果是Python 3.10或以下，你就可以了。

python3 --version

2. 如果你有更高的版本，你可以使用下面的命令在Linux和ChromeOS上安装Python 3.10。

sudo apt install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get update
sudo apt-get install python3.10

3. 在Python之后，通过运行以下命令安装Node.js。

sudo apt install nodejs

4. 安装完成后，运行下面的命令来检查Node.js的版本。它应该是18.0或更高。

node --version

在你的电脑上安装Alpaca和LLaMA模型

一旦你设置好了Python和Node.js，就该在你的电脑上安装和运行类似ChatGPT的LLM了。在你继续之前，请确保终端检测到 python 和 node 命令。

1. 打开终端（在我的例子中是命令提示符），运行下面的命令来安装Alpaca 7B LLM模型（大约需要4.2GB磁盘空间）。如果你想安装Alpaca 13B模型，用 13B 代替 7B 。这个较大的模型需要8.1GB的空间。

npx dalai alpaca install 7B

2. 现在，输入 “y” 并点击回车。这将开始安装Alpaca 7B模型。整个过程将需要20至30分钟，这取决于你的互联网连接和模型的大小。

3. 安装完成后，你会看到一个像这样的屏幕。

4. 你可以选择同时安装LLaMA模型，或者进入下一步，立即测试Alpaca模型。记住，LLaMA的体积要大得多。它的7B模型需要多达31GB的空间。要安装它，请运行下面的命令。你可以用 13B, 30B, 和 65B替换 7B。最大的模型需要多达432GB的空间。

npx dalai llama install 7B

5. 最后，运行下面的命令，它将立即启动Webserver。

npx dalai serve

6. 在你的电脑上使用网络浏览器，打开以下地址。这将使你进入网络用户界面，在那里你可以在本地和没有互联网的情况下测试Alpaca和LLaMA模型。

http://localhost:3000

7. 在这里，你需要从右上角的 “model” 下拉菜单中选择 “Alpaca 7B” 或 “LLaMA 7B” 型号。由于我只安装了Alpaca 7B模型，这是我的默认值。

8. 现在你可以在没有互联网连接的情况下在你的电脑上开始使用这个类似ChatGPT的语言模型。将 “PROMPT” 替换成你的查询，然后点击 “Go”。

9. 下面是我在Windows电脑上运行本地Alpaca LLM服务器时的资源使用情况。

10. 如果你想删除下载的模型以释放磁盘空间，请打开你的用户配置文件目录。这里，”dalai” 文件夹有所有的文件，包括模型。删除 “dalai” 文件夹将立即释放空间。

小结

因此，这就是你如何在你的本地PC上运行类似ChatGPT的LLM，并且也能获得体面的结果。随着时间的推移，将来会有新的、高效的LLM模型出现，这些模型可以在智能手机和Raspberry Pi等小板计算机上运行。总之，这就是我们的全部内容。如果你想免费使用ChatGPT 4，请前往我们的链接文章，了解一些惊人的资源。如果你想根据自己的文件来训练人工智能聊天机器人，我们为你准备了一份深度指南。最后，如果你面临任何问题，请在下面的评论区告诉我们。