基础模型的定义、应用和挑战
斯坦福大学基础模型研究中心指出，人工智能正在经历一场范式转变。1他们认为，主要原因是基础模型的进步，如BERT、CLIP、DALL-E和GPT-3。
然而，关于这些模型所面临的挑战，包括它们的不可靠和偏见，一直存在着辩论。
在这篇文章中，我们将描述什么是基础模型，它是如何工作的，这些模型的可能应用，以及它们带来的挑战。
什么是基础模型？
基础模型是一种经过训练的模型，它可以被用于下游任务（图1）。因此，基础模型可以有效地用于它以前没有被训练过的任务。
图1. 论基金会模式的机会和风险
虽然基础模型不是新的，但其最近的影响是新的。这就是为什么研究人员没有选择目前使用的术语，如 “自我监督” 或 “预训练模型”，而是创造了 “基础模型” 这一术语。
选择 “基础模型” 这一名称而不是 “通用” 或 “多用途” 模型等其他选项的另一个重要原因是强调这种类型的模型的具体功能：作为创建专门模型的平台。
然而，这种偏好也难免受到批评。其中一个主要的关注点是，当关于这些模型的性质的信息没有被很好地定义时，将其命名为基础模型。
基础模型如何适应？
迁移学习是使基础模型出现的ML技术。基于在以前任务中获得的知识积累，一个模型可以通过这种技术学习新的任务。
基础模型需要被改编，因为它们是新模型的基础，有许多方法可以做到这一点，例如：
微调
这是采用一个给定的模型来满足不同任务需求的过程。因此，与其为此产生一个新的模型，不如进行修改就足够了。
内涵式学习
使用这种方法，模型可以在最小的训练下学习如何执行任务，而且不需要微调，与传统方法不同。
基础模型的应用有哪些？
基础模型可以应用于广泛的行业，包括医疗、教育、翻译、社交媒体、法律等等。
以下是所有这些行业中存在的用例：
- 电子邮件生成
- 内容创建
- 文本总结
- 翻译
- 回答问题
- 客户支持
- 网站创建
- 对象跟踪
- 图像生成和分类
图2. “基础模型： 未来发生的速度还不够快–更好的工具将使它更快发生“
基础模型的挑战是什么？
虽然基础模型被称为 “人工智能的新范式 “或 “人工智能的未来”，但这些模型的广泛实施存在严重障碍。
不可靠
对基础模型最普遍的批评之一是其不可靠的特性。
例如，在为评估一个基础模型CLIP而进行的排版测试结束时，研究人员发现，当一张纸粘在写有 “披萨 “一词的苹果上时（图3），CLIP错误地认为这确实是一个披萨而不是一个苹果。
图3. 《人工神经网络的多模态神经元》
不道德
在最近对GPT-3的批评中，作者认为，即使人工智能语言生成系统能够形成语法正确的句子，它们在理解上下文和生成适当的反应方面还需要进一步发展。
根据研究，语言模型产生的无关紧要的延续性句子并不能反映出前面句子的物理、社会和心理方面。尽管如此，在没有监督的情况下应用于商业用途时，缺乏常识性的理解会产生非道德的结果。
例如，另一项研究提出，一个GPT-3医疗聊天机器人在与一个人造病人互动时提供了自杀建议。
偏见
基础模型的另一个弱点是它们在训练数据集中模仿偏见、歧视性分类或定型观念。
事实证明，当训练数据没有被检查时，语言生成系统可以产生种族主义笑话或性别歧视的句子，而仇恨言论或性别歧视没有被标记为不安全。
- Bommasani R.; Hudson D.; Adeli E; et al. (2022). “On the Opportunities and Risks of Foundation Models”. Center for Research on Foundation Models (CRFM).
- Marcus, Gary; Davis, Ernest. “Has AI found a new Foundation?”. Stanford CRFM. Retrieved November 15, 2022.
- Marcus, Gary; Davis, Ernest. “GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about”. MIT Technology Review. Retrieved November 15, 2022.
- Marcus, Gary; Davis, Ernest. “Has AI found a new Foundation?”. Stanford CRFM. Retrieved November 15, 2022.
- Johnson, K. (June 17, 2021). “The Efforts to Make Text-Based AI Less Racist and Terrible”. WIRED. Retrieved November 15, 2022.
评论留言