初次使用大型語言模型時，常常感覺手中握著原始的智慧。它們在寫作、總結和推理方面表現出色。然而，當你構建併發布實際產品時，模型的所有缺陷都會暴露出來。它記不住你昨天說過的話，一旦失去上下文，就會開始胡編亂造。這並非因為模型本身不夠智慧，而是因為模型與外部世界隔絕，並且受到如同小型白板般的上下文視窗的限制。這無法透過更好的提示來克服——你需要圍繞模型構建一個真實的上下文。而這正是上下文工程發揮作用的地方。本文將作為上下文工程的全面指南，定義該術語並描述相關流程。
無法迴避的問題
大型語言模型雖然強大，但其應用範圍有限。這部分是由於它們存在以下問題：
- 無法訪問私人文件
- 無法記住過去的對話
- 上下文視窗有限
- 壓力下出現幻覺
- 上下文視窗過大時效能下降
雖然某些限制是必要的（例如無法訪問私人文件），但在記憶體有限、出現幻覺和上下文視窗受限的情況下，這些限制就顯得多餘了。這表明上下文工程才是解決方案，而非附加功能。
什麼是上下文工程？
上下文工程是指對提供給大型語言模型的所有輸入進行結構化處理，以提高其準確性和可靠性的過程。它涉及對提示進行結構化和最佳化，使語言模型能夠獲得生成與所需輸出完全匹配的答案所需的所有“上下文”。
它能提供什麼？
上下文工程的實踐在於，使用精心設計的架構，在正確的時間、正確的順序，向模型提供完全正確的資訊。它並非改變模型本身，而是構建連線模型與外部世界的橋樑，檢索外部資料，將其連線到即時工具，並賦予模型記憶，使其能夠基於事實而非僅僅是訓練資料來做出響應。這並非僅限於提示符本身，因此與提示符工程有所不同。它是在系統設計層面實現的。
上下文工程與其說是關注使用者可以在提示符中輸入什麼，不如說是關注開發者所採用的模型架構選擇。
基本組成部分
Source: X
以下是內容工程框架的六大組成部分：
1. 智慧體
人工智慧智慧體是系統中決定下一步行動的部分。它們會解讀當前情況，選擇合適的工具，調整策略，並確保模型不會盲目猜測。智慧體並非採用僵化的流程，而是建立了一個靈活的迴圈，使系統能夠思考、行動並自我修正。
- 它們將任務分解成多個步驟
- 它們將資訊路由到需要的地方
- 它們確保整個工作流程不會在情況發生變化時崩潰
2. 查詢增強
查詢增強可以清理使用者輸入給模型的各種資訊。真實使用者的輸入往往雜亂無章，而這一層可以將他們的輸入轉化為系統可以實際處理的內容。透過重寫、擴充套件或將查詢拆分成更小的部分，可以確保模型搜尋的是正確的內容，而不是錯誤的內容。
- 重寫可以去除噪聲並提高畫質晰度
- 擴充套件可以在意圖模糊時擴大搜尋範圍
- 分解可以處理複雜的多問題提示
3. 資料檢索
資料檢索透過以下方式進行：檢索增強生成（Retrieval Augmented Generation）是指從龐大的知識庫中提取最相關的資訊。它將文件分塊，使模型能夠理解，並在恰當的時機提取正確的片段，同時為模型提供所需的資訊，而不會使其上下文視窗過載。
- 分塊大小會影響準確性和理解力。
- 預分塊可以加快處理速度。
- 後分塊可以適應複雜的查詢。
4. 提示技巧
提示技巧可以在模型獲得正確資訊後引導其推理。您可以塑造模型的思考方式、解釋步驟的方式以及與工具或證據的互動方式。正確的提示結構可以將模糊的答案轉化為可靠的答案。
- 思維鏈（Chain of Thought）鼓勵逐步推理。
- 少量示例展示了理想的結果。
- ReAct 將推理與實際操作相結合。
5. 記憶
記憶為系統提供連續性。它跟蹤之前發生的事情、使用者的偏好以及代理迄今為止的學習成果。如果沒有記憶，模型每次都會重置。有了它，系統會變得更智慧、更快速、更個性化。
- 短期記憶存在於上下文視窗中
- 長期記憶儲存在外部儲存器中
- 工作記憶支援多步驟流程
6. 工具
工具使模型能夠超越文字，與現實世界互動。藉助合適的工具集，模型可以獲取資料、執行操作或呼叫 API，而無需猜測。這使得助手轉變為能夠完成任務的真正操作員。
- 函式呼叫建立結構化操作
- MCP 規範了模型訪問外部系統的方式
- 良好的工具描述可以避免錯誤
它們是如何協同工作的？
Source: Weviate
描繪一下現代人工智慧應用的場景：
- 使用者傳送一個混亂的查詢
- 查詢代理對其進行重寫
- 檢索系統透過智慧分塊查詢證據
- 代理驗證資訊
- 工具提取即時外部資料
- 記憶體儲存並檢索上下文
想象一下：
使用者傳送一個混亂的查詢。查詢代理接收查詢並將其重寫，使其更清晰。RAG 系統透過智慧分塊在查詢中查詢證據。代理接收此資訊並檢查其真實性和完整性。此資訊用於透過 MCP 發出適當的呼叫來提取即時資料。記憶體儲存在此檢索和清理過程中獲得的資訊和上下文。
如果需要相關上下文，可以稍後檢索這些資訊以回到正軌。這避免了冗餘處理，並允許檢索已處理的資訊以供將來使用。
實際應用案例
以下是一些上下文工程架構的實際應用：
- 客戶支援助手：客服人員會修改模糊的客戶諮詢，提取產品相關文件，查詢長期記憶中的歷史工單，並使用工具獲取訂單狀態。模型不會進行猜測，而是根據已知的上下文做出響應。
- 團隊內部知識助手：員工經常提出雜亂無章、不完整的問題。查詢增強功能可以清理這些問題，檢索功能可以找到合適的政策或技術文件，記憶功能可以回憶起過去的對話。現在，該助手可以作為值得信賴的內部搜尋和推理層來提供幫助。
- 人工智慧研究助手：該系統會將複雜的研究問題分解成各個組成部分，使用語義或層級分塊檢索相關論文，並綜合分析結果。工具能夠訪問即時資料集，而記憶體則會記錄之前的假設、筆記等資訊。
- 工作流自動化代理：代理會規劃包含多個步驟的任務，呼叫 API，檢查日曆，更新資料庫，並利用長期記憶來個性化操作。檢索功能會將相應的規則或標準操作程式 (SOP) 引入工作流，以確保其合法性和準確性。
- 領域特定助手：檢索功能會提取已驗證的文件、指南或法規。記憶體會儲存之前的案例。工具可以訪問即時系統或資料集。查詢重寫功能可以減少使用者的歧義，從而確保模型的可靠性和安全性。
這對人工智慧工程的未來意味著什麼？
透過上下文工程，重點不再是與模型進行持續的對話，而是設計能夠使模型智慧執行的生態系統上下文。這不僅僅是提示、檢索技巧或拼湊的架構的問題。這是一個高度協調的系統，其中智慧體決定行動，查詢得到清理，正確的資訊在恰當的時機呈現，記憶將過去的上下文資訊傳遞到未來，工具則讓模型能夠在現實世界中發揮作用。
然而，這些要素仍將不斷發展演進。真正能夠定義更成功的模型、應用或工具的，是那些基於精心設計的、深思熟慮的上下文設計而構建的。僅僅依靠更龐大的模型並不能讓我們走向成功，更優秀的工程技術才能。未來將屬於那些在設計模型的同時，也對環境進行深入思考的構建者。
評論留言