如何使用微软JARVIS（Hugging GPT）？
在人工智能领域，每天都有新的大型语言模型被推出，事情正在以惊人的速度变化。在短短几个月的发展中，我们现在可以在PC上离线运行一个类似ChatGPT的LLM。不仅如此，我们还可以训练一个人工智能聊天机器人，创造一个个性化的人工智能助理。但最近让我感兴趣的是微软对人工智能开发的实践方法。微软目前正在开发一种高级形式的人工智能系统，名为JARVIS（显然是指漫威的钢铁侠），它连接到多个人工智能模型，并以最终结果作出回应。它的演示在Huggingface上托管，任何人现在都可以查看JARVIS的能力。因此，如果你有兴趣，马上去学习如何使用微软JARVIS（Hugging GPT）。
什么是微软JARVIS（Hugging GPT）？
微软开发了一种独特的协作系统，可以使用多个人工智能模型来实现一个特定的任务。而在这一切中，ChatGPT充当了任务的控制器。该项目在GitHub上被称为JARVIS（访问），现在在Huggingface（因此称为Hugging GPT）上供人们试用。在我们的测试中，它在处理文本、图像、音频甚至视频时都表现得非常出色。
它的工作原理类似于OpenAI用文本和图像展示GPT 4的多模态能力。然而，JARVIS更进一步，整合了各种图像、视频、音频等的开源LLMs。这里最好的部分是，它还可以连接到互联网并访问文件。例如，你可以从一个网站上输入一个URL，并提出有关问题。这是非常酷的，对吗？
你可以在一个查询中添加多个任务。例如，你可以要求它生成一张外星人入侵的图片，并为它写诗。在这里，ChatGPT会分析请求并计划任务。之后，ChatGPT选择正确的模型（托管在Huggingface上）来实现该任务。所选模型完成任务并将结果返回给ChatGPT。
最后，ChatGPT使用所有模型的推理结果生成响应。在这个任务中，JARVIS使用稳定扩散：
有多达20个模型与JARVIS（Hugging GPT）相连。其中一些是t5-base、stable-diffusion 1.5、bert、Facebook的bart-large-cnn、Intel的dpt-large等等。总而言之，如果你现在想要多模态功能，请马上去看看微软JARVIS。我们已经在这里解释了如何设置它并立即测试它：
Step 1: 获得使用微软JARVIS的钥匙
1. 首先，前往此链接，登录您的OpenAI账户，并点击 “Create new secret key” 以获得您的OpenAI API密钥。将密钥保存在一个记事本文件中，以便日后使用。
2. 接下来，打开huggingface.co网站，创建一个免费账户。
3. 之后，点击这个链接，生成你的Hugging Face令牌。点击右侧窗格中的 “New token“。
4. 在这里，输入一个名字（例如，我输入的名字是 “jarvis”）。然后，将角色改为 “Write”，然后点击 “Generate a token“。
5. 接下来，点击 “copy” 按钮，令牌将被复制到剪贴板上。将令牌保存到一个记事本文件中。
Step 2: 开始使用微软JARVIS（Hugging GPT）。
1. 要使用微软JARVIS，请打开此链接并在第一个字段中粘贴OpenAI API密钥。之后，点击 “Submit”。同样地，在第二个字段中粘贴Huggingface令牌，并点击 “Submit”。
2. 一旦两个令牌都得到验证，向下滚动并输入你的查询。为了开始，我向JARVIS询问照片的内容，并分享了图片的URL。
3. 它自动下载了图片，并使用了三个人工智能模型来完成任务，包括ydshieh/vit-gpt2-coco-en（将图片转换为文本），facebook/ detr-resnet-101（用于对象检测），以及dandelin/ vilt-b32-finetuned-vqa（用于视觉问题回答）。最后，它得出的结论是，照片上有一只猫在照镜子。这不是很神奇吗？
4. 在另一个例子中，我要求它转录一个音频文件，它使用OpenAI/whisper-base模型做到了。JARVIS有很多使用案例，你可以在HuggingFace上免费试用。
小结
所以这就是你如何使用Hugging GPT来完成一个使用不同AI模型的任务。我对JARVIS进行了多次测试，效果相当不错，只是你需要经常到队列后面去。你不能在任何半成品的PC上本地运行JARVIS，因为它需要至少16GB的VRAM和大约300GB的空间用于各种模型。
在Huggingface上也是如此，你不能克隆它并跳过免费账户下的队列。你需要订阅才能在Nvidia A10G–一种大型GPU上运行强大的模型，其费用为3.15美元/小时。总之，这就是我们的全部内容。如果你想在VS Code中使用CodeGPT，以便在编程时获得帮助，请前往我们的链接指南。而要免费使用ChatGPT 4，我们为你准备了一份清单。最后，如果你有任何问题，请在下面的评论区告诉我们。
评论留言