斯坦福大學基礎模型研究中心指出，人工智慧正在經歷一場正規化轉變。1他們認為，主要原因是基礎模型的進步，如BERT、CLIP、DALL-E和GPT-3。
然而，關於這些模型所面臨的挑戰，包括它們的不可靠和偏見，一直存在著辯論。
在這篇文章中，我們將描述什麼是基礎模型，它是如何工作的，這些模型的可能應用，以及它們帶來的挑戰。
什麼是基礎模型？
基礎模型是一種經過訓練的模型，它可以被用於下游任務（圖1）。因此，基礎模型可以有效地用於它以前沒有被訓練過的任務。
圖1. 論基金會模式的機會和風險
雖然基礎模型不是新的，但其最近的影響是新的。這就是為什麼研究人員沒有選擇目前使用的術語，如 “自我監督” 或 “預訓練模型”，而是創造了 “基礎模型” 這一術語。
選擇 “基礎模型” 這一名稱而不是 “通用” 或 “多用途” 模型等其他選項的另一個重要原因是強調這種型別的模型的具體功能：作為建立專門模型的平臺。
然而，這種偏好也難免受到批評。其中一個主要的關注點是，當關於這些模型的性質的資訊沒有被很好地定義時，將其命名為基礎模型。
基礎模型如何適應？
遷移學習是使基礎模型出現的ML技術。基於在以前任務中獲得的知識積累，一個模型可以通過這種技術學習新的任務。
基礎模型需要被改編，因為它們是新模型的基礎，有許多方法可以做到這一點，例如：
微調
這是採用一個給定的模型來滿足不同任務需求的過程。因此，與其為此產生一個新的模型，不如進行修改就足夠了。
內涵式學習
使用這種方法，模型可以在最小的訓練下學習如何執行任務，而且不需要微調，與傳統方法不同。
基礎模型的應用有哪些？
基礎模型可以應用於廣泛的行業，包括醫療、教育、翻譯、社交媒體、法律等等。
以下是所有這些行業中存在的用例：
- 電子郵件生成
- 內容建立
- 文字總結
- 翻譯
- 回答問題
- 客戶支援
- 網站建立
- 物件跟蹤
- 影象生成和分類
圖2. “基礎模型： 未來發生的速度還不夠快–更好的工具將使它更快發生“
基礎模型的挑戰是什麼？
雖然基礎模型被稱為 “人工智慧的新正規化 “或 “人工智慧的未來”，但這些模型的廣泛實施存在嚴重障礙。
不可靠
對基礎模型最普遍的批評之一是其不可靠的特性。
例如，在為評估一個基礎模型CLIP而進行的排版測試結束時，研究人員發現，當一張紙粘在寫有 “披薩 “一詞的蘋果上時（圖3），CLIP錯誤地認為這確實是一個披薩而不是一個蘋果。
圖3. 《人工神經網路的多模態神經元》
不道德
在最近對GPT-3的批評中，作者認為，即使人工智慧語言生成系統能夠形成語法正確的句子，它們在理解上下文和生成適當的反應方面還需要進一步發展。
根據研究，語言模型產生的無關緊要的延續性句子並不能反映出前面句子的物理、社會和心理方面。儘管如此，在沒有監督的情況下應用於商業用途時，缺乏常識性的理解會產生非道德的結果。
例如，另一項研究提出，一個GPT-3醫療聊天機器人在與一個人造病人互動時提供了自殺建議。
偏見
基礎模型的另一個弱點是它們在訓練資料集中模仿偏見、歧視性分類或定型觀念。
事實證明，當訓練資料沒有被檢查時，語言生成系統可以產生種族主義笑話或性別歧視的句子，而仇恨言論或性別歧視沒有被標記為不安全。
- Bommasani R.; Hudson D.; Adeli E; et al. (2022). “On the Opportunities and Risks of Foundation Models”. Center for Research on Foundation Models (CRFM).
- Marcus, Gary; Davis, Ernest. “Has AI found a new Foundation?”. Stanford CRFM. Retrieved November 15, 2022.
- Marcus, Gary; Davis, Ernest. “GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about”. MIT Technology Review. Retrieved November 15, 2022.
- Marcus, Gary; Davis, Ernest. “Has AI found a new Foundation?”. Stanford CRFM. Retrieved November 15, 2022.
- Johnson, K. (June 17, 2021). “The Efforts to Make Text-Based AI Less Racist and Terrible”. WIRED. Retrieved November 15, 2022.
評論留言