AI 的演進之路：為何持續學習需要超越模型權重的三層架構

當我們談論 AI 的持續學習時，多數人會直覺地想到模型微調或權重更新。然而，這種單純聚焦於模型層的作法，不僅成本高昂，也難以迴避「災難性遺忘」的經典難題。我認為，一個真正能夠在現實世界中落地、可持續演進的 AI 系統，其學習機制必須建立在一個更完整的三層架構上：模型（Model）、框架（Framework）與上下文（Context）。這套分層思維讓我們能以更靈活、更具成本效益的方式累積經驗，打造出真正可治理、可擴展的智慧系統，這才是 AI 邁向成熟的關鍵。

為什麼單靠模型更新的持續學習，是一條崎嶇之路？

持續學習（Continual Learning）的理想是讓 AI 模型能像人類一樣，不斷從新的數據流中學習，同時不忘記過去學到的知識。然而，在實務上，尤其是對於深度神經網路，這極其困難。當我們用新任務的數據對一個預訓練好的模型進行微調時，它很容易為了適應新知識而覆蓋掉儲存在權重中的舊知識，這種現象被稱為「災難性遺忘」（Catastrophic Forgetting）。

自 2017 年以來，學術界提出了許多方法試圖緩解這個問題，例如彈性權重鞏固（Elastic Weight Consolidation, EWC）等，相關研究在近年來持續發展，但至今沒有任何一個方案能稱得上是完美的解方。更現實的挑戰是，每一次的模型權重更新都意味著高昂的計算成本與時間投入。對於需要快速迭代的商業應用來說，動輒數週甚至數月的模型重新訓練週期，顯然不切實際。這種對模型權重的過度依賴，讓我們陷入了一個「學習」等於「昂貴且有風險的底層手術」的困境。

AI 智慧體如何真正學習？認識三層演進架構

受到 LangChain 創辦人 Harrison Chase 近期觀點的啟發，我認為我們需要將「學習」的定義從單一的模型層，擴展到整個 AI 系統。一個成熟的 AI Agent 應該具備在三個不同層次上累積經驗與自我演進的能力。

一個真正可持續演進的 AI 系統，其學習機制是分層的：最底層是緩慢、昂貴的模型更新；中間層是中等頻率、關於流程與工具的框架調整；最上層則是即時、低成本的上下文與記憶擴充。

這三層架構分別是：

模型層 (Model Layer)：這是最底層、最核心的部分，指的是大型語言模型本身的權重。這一層的學習是透過微調（fine-tuning）或更複雜的持續學習演算法來實現。它的改變是根本性的，能影響模型的核心能力，例如推理風格或知識邊界。然而，如前述所言，它的更新週期最長、成本最高、風險也最大。例如，將一個基於 GPT-4 開發的系統，其底層模型升級到下一代，就是一次模型層的演進。

框架層 (Framework Layer)：這一層指的是圍繞著語言模型的應用程式邏輯、提示工程、工具使用與代理（Agent）架構。它決定了模型如何與外部世界互動、如何分解任務、如何使用工具。框架層的學習，是透過修改提示詞模板、增加新工具、優化 Agent 的決策流程（例如從簡單的 ReAct 框架演進到更複雜的圖狀思考結構）來完成。這種學習比模型層更靈活、成本更低，也更容易進行 A/B 測試與版本控制。

上下文層 (Context Layer)：這是最上層、也是最動態的一層。它指的是在每一次互動中提供給模型的即時資訊，主要透過檢索增強生成（RAG）技術來實現。這一層的學習，是透過更新外部知識庫（如向量資料庫）、給予更精準的範例（few-shot examples）、或是在對話歷史中注入關鍵記憶來達成。上下文層的更新可以達到即時（real-time），成本極低，且幾乎沒有災難性遺忘的風險。例如，將最新的公司財報存入向量資料庫，讓 AI 能立即回答相關問題，就是一次上下文層的學習。一篇 2020 年的論文奠定了 RAG 的基礎，至今仍是這一層的核心技術。

如何整合三層架構，打造真正可演進的 AI？

理解了這三層架構後，關鍵便在於如何將它們視為一個整體，並根據問題的性質與緊急程度，選擇在正確的層次上進行「學習」或「修正」。一個健康的 AI 系統演進策略，應該是這樣的：

高頻、即時的問題修正（數秒至數小時）：優先在「上下文層」解決。例如，發現 AI 對某個新產品的資訊掌握錯誤，最快的方式是直接更新或注入正確的知識文件到其檢索庫中，而不是重新訓練模型。

中頻、結構性的流程優化（數天至數週）：在「框架層」進行。例如，如果發現 AI 在處理多步驟任務時經常出錯，我們應該思考是否它的提示策略或 Agent 的行動邏輯需要調整，而不是期望微調模型能神奇地解決這個流程性問題。

低頻、根本性的能力提升（數月至數年）：才考慮在「模型層」動手。當我們發現系統的某種核心能力（例如程式碼生成、或特定領域的專業推理）普遍不足，且無法透過框架或上下文彌補時，才需要啟動昂貴的模型微調或更換基礎模型。

這種分層治理的思維，讓我們從「單點的機器學習問題」轉向「整體的系統工程問題」。它讓我們擁有了一套更清晰的診斷與行動指南，知道何時該用輕巧的繃帶，何時才需要動一場大手術。

我認為，這個三層架構不僅是一個技術藍圖，更是一種思維模式的轉變。它要求我們不再將 AI 視為一個訓練完畢就不再變動的黑盒子，而是將其看作一個需要持續維護、迭代與治理的動態生命系統。真正的持續學習，是整個系統的持續演進，而不僅僅是模型權重的持續更新。唯有建立起這樣宏觀的系統觀，我們才能打造出真正穩健、可靠且能與我們共同成長的 AI 夥伴。

延伸閱讀

• Continual learning for AI agents (Harrison Chase, LangChain Blog)
• A comprehensive survey on continual learning (Parisi et al., 2019)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。