AI Agent 如何「學習」？答案可能與你想的不同：談系統化記憶與流程工程

當我們談論 AI Agent 的「學習」時，多數人會聯想到模型權重的更新，彷彿一個數位大腦正在根據新經驗重新佈線。但實務上，絕大多數 Agent 的進化並非源於此。它們的「學習」更像是一種精心設計的工程實踐，將智慧的各個面向——例如偏好、技能與記憶——從核心模型中抽離，並建構成外部的、可管理的系統。這意味著 AI 系統的進步，越來越像一場產品架構的演化，而非模型內部神奇的自我升級。理解這一點至關重要，因為它將 AI 開發從一個純粹的機器學習問題，轉變為一個我們更熟悉的系統設計與產品管理挑戰。

為什麼多數 Agent 的「學習」不是更新模型權重？

讓一個大型語言模型（LLM）真正地「學習」新事物，通常指的是透過微調（Fine-tuning）來更新其數十億甚至上兆個權重參數。然而，在多數商業應用或個人 Agent 的場景中，這條路徑既不實際也非最佳解。原因有幾個：

• 成本與複雜性： 對於像 GPT-4 這樣擁有超過 1.7 兆個參數的頂級模型，每一次微調都需要巨大的運算資源與時間成本。對每個用戶的每次互動都進行微調，在經濟上是不可行的。
• 災難性遺忘（Catastrophic Forgetting）： 神經網路在學習新任務時，有時會遺忘先前學到的知識。頻繁的微調可能導致模型性能在某些核心能力上出現非預期的衰退，穩定性難以保證。
• 資料品質與延遲： 有效的微調需要大量高品質、經過標註的資料。即時收集、清理並利用用戶互動來更新模型，存在顯著的資料工程延遲。

因此，與其不斷動刀修改那個巨大而昂貴的核心「大腦」，更聰明的做法是為它打造一個強大的外部支援系統。Agent 的進化，正是在這個外部系統的設計上展開的。

Agent 如何透過外部記憶與技能工程來「學習」？

所謂的「學習」，其實是將原本需要模型內化的能力，轉化為一系列外部模組與工程流程。這種「智慧外部化」的架構，讓 Agent 的行為更可預測、更易於管理，也更容易客製化。目前的實踐主要圍繞以下幾個核心機制：

偏好記憶：Agent 如何記住你的個人喜好？

這相當於為 Agent 建立一個簡單的個人檔案資料庫。當用戶表達特定偏好時，例如「我喜歡簡潔的寫作風格」或「報告的結論要放在最前面」，系統並不是去微調模型，而是將這些偏好以鍵值對（Key-Value Pair）的形式儲存起來。在未來的互動中，這些偏好會被自動注入到提示（Prompt）中，引導模型生成更符合用戶期望的結果。

技能庫：Agent 如何執行複雜任務而不需從頭學起？

這是將重複性高、流程固定的任務「工具化」或「函式化」。與其讓 Agent 每次都從頭思考如何訂機票或查詢天氣，不如為它提供一組定義清晰的工具（Tools）或 API。模型的核心任務從「執行所有步驟」轉變為「判斷何時該呼叫哪個工具」。這正是 OpenAI 的 Function Calling 等技術的核心思想，它讓 LLM 成為一個更聰明的「調度中心」，而非萬能的「執行者」。

對話歷史與檢索：Agent 如何有效利用過往經驗？

為了讓 Agent 記住過去的對話，最有效的方法不是把所有內容都塞進有限的上下文視窗，而是建立一個外部的向量資料庫（Vector Database）。過去的對話、文件或知識被轉換為向量儲存起來。當需要時，系統會先進行語意搜尋，找出最相關的幾段歷史紀錄，再將其與當前問題一起提供給模型。這個被稱為「檢索增強生成」（Retrieval-Augmented Generation, RAG）的架構，最早由 Facebook AI Research 在 2020 年提出，如今已是所有知識型 Agent 的基礎建設。

與其說 Agent 在「學習」新知識，不如說它在「學會如何更有效地檢索」已有的外部知識。這是一個從記憶力競賽到資訊管理能力的根本轉變。

Nous Hermes Agent 如何透過「自我修正」實踐工程化學習？

要理解這種工程化的學習機制，Nous Research 推出的 Hermes 系列模型與 Agent 框架是一個很好的教材。Hermes Agent 的設計，特別是其在任務執行中的「自我修正」（Self-correction）流程，完美體現了將智慧流程化的思想。

當 Hermes Agent 接收一個複雜任務時，它並非一步到位。其內部的運作更像一個循環：

1. 思考（Think）： 分析任務，規劃執行步驟，決定是否需要使用工具。
2. 行動（Act）： 執行第一步，例如呼叫一個 API 或生成一段程式碼。
3. 觀察（Observe）： 檢視行動的結果，例如 API 的回傳值或程式碼的執行錯誤。
4. 修正（Correct）： 根據觀察到的結果，反思計畫是否需要調整，並生成下一步的修正方案。這個循環會持續到任務完成為止。

這個「思考-行動-觀察-修正」的循環，並非模型與生俱來的本能，而是一個被明確設計出來的外部控制流程（Control Flow）。它強迫模型進行批判性思考與迭代改進，從而大幅提升了複雜任務的成功率。

這套框架的成功，依賴的是系統設計的精巧，而非單純提升模型本身的參數規模或訓練資料。這也解釋了為什麼像 Hermes 2 Pro 這樣基於 80 億參數模型的 Agent，在特定任務上能展現出驚人的能力。

總結來說，我們正目睹 AI Agent 開發的典範轉移。焦點正從追求更大、更強的單一模型，轉向如何圍繞現有模型，建構出更聰明、更具韌性的系統架構。對於產品經理、系統架構師與工程師而言，這是一個令人振奮的消息。因為這意味著，打造卓越 AI Agent 的關鍵，將越來越依賴我們所熟悉的領域：清晰的產品思維、穩固的系統設計，以及務實的工程實踐。

延伸閱讀

• AIエージェントの「学習」は、LLMの重み更新ではないという話 (原文)
• LLM-powered Autonomous Agents by Lilian Weng
• Nous Hermes 2 - Mistral 7B: A New State-of-the-Art 7B Parameter Model

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。