12个学习大语言模型的最佳GitHub代码库

在当今世界，无论您是专业人士、学生还是从事研究工作，如果您不了解大型语言模型 (LLM)，或者没有探索 LLM 的 GitHub 代码库，那么您在这场 AI 革命中已经落后了。ChatGPT、Claude、Gemini 等聊天机器人以 LLM 为核心，使用简单的提示技术和自然语言生成内容和代码等任务。在本指南中，我们将探索一些顶级代码库，例如 awesome-llm 和 Hands-On LLM，它们可以帮助您掌握 LLM。

为何你应该掌握LLM？

如今，谷歌、微软、亚马逊等众多科技巨头都在积极打造自己的法学硕士 (LLM)。其他机构也正在招聘工程师，根据自身需求调整和部署这些 LLM。因此，对 LLM 专业知识人才的需求显著增长。如今，对 LLM 的实践理解已成为软件工程、数据科学等领域各类工作的先决条件。很快，各个团队和行业的职位都将需要对 LLM 有基本的了解，因此掌握 LLM 将使你比其他人更具优势。

掌握LLM的顶级代码库

在本节中，我们将探索顶级 GitHub 代码库，其中包含法 LLM 的详细教程、课程、代码和研究资源。这些代码库将帮助您掌握 LLM 所需的工具、技能、框架和理论。

1. mlabonne/llm-course

此资源库包含完整的理论和实践指南，适合希望探索 LLM 工作原理的各个级别的学习者。它涵盖了从量化和微调到模型合并以及构建基于 LLM 的实际应用程序等主题。

亮点：

• 它非常适合初学者和在职专业人士提升知识水平，因为每门课程都清晰地划分为从基础到高级的概念。
• 它涵盖了理论基础和实际应用，确保指南结构清晰。
• 拥有超过 5.1 万颗星的评分，并得到了社区的广泛贡献。

GitHub 链接：https://github.com/mlabonne/llm-course

2. HandsOnLLM/Hands-On-Large-Language-Models

此代码库遵循 O’Reilly 的《Hands-on Language Models》一书，提供丰富易懂且实用的指南，帮助您理解 LLM 的工作原理。此代码库还包含每章的 Jupyter Notebook，涵盖重要主题，例如：token、嵌入、Transformer 架构、多模态 LLM、微调技术等等。

亮点：

• 它为开发者和工程师提供了实用的学习资源，涵盖了从基础到高级的广泛概念。
• 每章都包含动手示例，帮助用户将概念应用于实际案例，而不仅仅是停留在理论层面。
• 涵盖微调、部署以及构建基于 LLM 的应用程序等主题。

GitHub 链接：https://github.com/HandsOnLLM/Hands-On-Large-Language-Models

3. brexhq/prompt-engineering

该代码库包含完整的指南，并提供使用大型语言模型（例如 OpenAI 的 GPT-4）的实用技巧和策略。它还包含从研究和创建用于生产用例的提示符中汲取的经验教训。本指南涵盖了 LLM 的历史、提示符工程策略和安全建议。主题包括提示符结构、顶级 LLM 的 token 限制。

亮点：

• 专注于优化提示符的实际技术，因此它极大地帮助了开发者提升 LLM 的输出。
• 包含详细的指南，并提供基础知识和高级提示符策略。
• 拥有强大的社区支持，并定期更新，以确保用户可以访问最新信息。

GitHub 链接：https://github.com/brexhq/prompt-engineering

4. Hannibal046/Awesome-LLM

该资源库汇集了与 LLM 相关的实时资源，涵盖开创性的研究论文、训练框架、部署工具、评估基准等等。它被划分为不同的类别，包括论文和应用书籍。此外，它还设有排行榜，用于追踪不同 LLM 的表现。

亮点

• 该资源库提供重要的学习资料，包括教程和课程。
• 资源量庞大，使其成为 LLM 的顶级资源之一。
• 该资源库拥有超过 2.3 万颗星，拥有庞大的社区，确保信息定期更新。

GitHub 链接：https://github.com/Hannibal046/Awesome-LLM

5. OpenBMB/ToolBench

ToolBench 是一个开源平台，旨在训练、服务和评估 LLM 的工具学习能力。它提供了一个易于理解的框架，其中包含一个大规模指令调优数据集，以增强 LLM 的工具使用能力。

亮点：

• ToolBench 使 LLM 能够与外部工具和 API 交互。这提升了其执行实际任务的能力。
• 此外，ToolBench 还提供了一个 LLM 评估框架 ToolEval，其中包含通过率和成功率等工具评估功能。
• 该平台为学习新的架构和训练方法奠定了基础。

GitHub 链接：https://github.com/OpenBMB/ToolBench

6. EleutherAI/pythia

此存储库是 Pythia 项目的一部分。Pythia 套件的开发明确旨在促进可解释性、学习动态以及伦理和透明度方面的研究，而现有的模型套件无法满足这些研究的需求。

亮点：

• 此存储库旨在促进 LLM 的科学研究。
• 所有模型都包含 154 个检查点，这使我们能够从训练过程中获取内在模式。
• 所有模型、训练数据和代码均公开可用，以便在 LLM 研究中进行复现。

GitHub 链接：https://github.com/EleutherAI/pythia

7. WooooDyy/LLM-Agent-Paper-List

本库系统地探讨了基于 LLM 的代理的开发、应用和实现，为该领域的研究人员和学习者提供了基础资源。

亮点：

• 本库对基于 LLM 的代理进行了深入分析，涵盖了其开发步骤和应用。
• 包含一份井然有序的必读论文列表，方便学习者查阅。
• 深入讲解了多代理系统的行为和内部交互。

GitHub 链接：https://github.com/WooooDyy/LLM-Agent-Paper-List

8. BradyFU/Awesome-Multimodal-Large-Language-Models

该代码库为关注多模态 LLM（MLLM）最新进展的人士提供了丰富的资源。它涵盖了广泛的主题，例如多模态指令调优、思路链推理，以及最重要的——幻觉缓解技术。该代码库也收录于 VITA 项目中。它是一个开源的交互式多模态 LLM 平台，其中包含一篇综述论文，旨在深入了解 MLLM 的最新发展和应用。

亮点：

• 仅此代码库就汇集了大量与 MLLM 相关的论文、工具和数据集，使其成为学习者的顶级资源。
• 包含大量用于缓解 MLLM 中幻觉的研究和技术，因为幻觉是基于 LLM 应用的关键步骤。
• 该代码库拥有超过 1.5 万颗星，拥有庞大的社区，确保信息定期更新。

GitHub 链接：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

9. deepseedai/DeepSpeed

Deepseed 是由微软开发的开源深度学习库。它与 PyTorch 无缝集成，并提供系统级创新，支持训练高参数模型。DeepSpeed 已用于训练许多不同的大规模模型，例如 Jurassic-1（178B）、YaLM（100B）、Megatron-Turing（530B）等等。

亮点：

• Deepseed 拥有零冗余优化器，通过优化内存使用率，使其能够训练包含数千亿个参数的模型。
• 它允许在单个训练、推理或压缩流程中轻松组合多种特征。
• DeepSpeed 是微软 AI at Scale 计划的重要组成部分，旨在大规模实现下一代 AI 能力。

GitHub 链接：https://github.com/deepspeedai/DeepSpeed

10. ggml-org/llama.cpp

LLama C++ 是一个高性能开源库，专为在本地硬件上进行 LLM 的 C/C++ 推理而设计。它基于 GGML 张量库构建，支持大量模型，包括一些最流行的模型，例如 LLama、LLama2、LLama3、Mistral、GPT-2、BERT 等。此代码库旨在简化设置，并在从桌面到移动设备等各种平台上实现最佳性能。

亮点：

• LLama 支持直接在桌面和智能手机上进行 LLM 的本地推理，无需依赖云服务。
• 针对 x86、ARM、CUDA、Metal 和 SYCL 等硬件架构进行了优化，使其功能多样且高效。它支持 GGUF（GGML 通用文件），从而支持 2 位到 8 位的量化级别，从而减少内存占用并提高推理速度。
• 最近的更新还支持视觉功能，使其能够处理和生成文本和图像数据。这也扩大了应用范围。

GitHub 链接：https://github.com/ggml-org/llama.cpp

11. lucidrains/PaLM-rlhf-pytorch

此代码库提供了基于人类反馈的强化学习 (RLHF) 的开源实现，该实现已应用于 Google PaLM 架构。该项目旨在将 ChatGPT 的功能复制到 PaLM 上。这对于有兴趣了解和开发基于 RLHF 的应用程序的用户来说非常有帮助。

亮点

• PaLM-rlhf 提供了一个清晰易用的 RHFL 实现，可用于探索和试验高级训练技术。
• 它有助于为 RHFL 的未来发展奠定基础，并鼓励开发者和研究人员参与开发更以人为本的人工智能系统。
• 它拥有约 8000 颗星，拥有一个庞大的社区，确保信息定期更新。

GitHub 链接：https://github.com/lucidrains/PaLM-rlhf-pytorch

12. karpathy/nanoGPT

这个 nanoGPT 代码库提供了 GPT 式语言模型的高性能实现，并可作为训练和微调中型 GPT 的教学和实践工具。该代码库简洁明了，训练循环在 train.py 中，模型推理在 model.py 中。这使得开发者和研究人员能够轻松理解和实验 Transformer 架构。

亮点：

• nanoGPT 提供了 GPT 模型的简单实现，使其成为希望了解 Transformer 内部工作原理的人士的重要资源。
• 它还能优化和高效地训练和微调中型 LLM。
• nanoGPT 拥有超过 4.1 万颗星，拥有庞大的社区，确保信息定期更新。

GitHub 链接：https://github.com/karpathy/nanoGPT

总体概述

以下是我们上面介绍的所有 GitHub 代码库的概述，可供快速预览。

小结

随着 LLM 的不断发展，它们正在重塑科技格局。学习如何使用它们如今已不再是可有可无的事情。无论您是职场人士、职业生涯起步者，还是希望提升在 LLM 领域的专业知识，这些 GitHub 代码库都能为您提供帮助。它们提供了一种实用且易于理解的途径，让您能够获得该领域的实践经验。从基础知识到高级代理，这些代码库将全程指导您。因此，选择一个代码库，使用上述资源，并构建您的 LLM 专业知识吧。