AI Agent 的下一步：從模型權重到可重寫的操作支架

我認為，評估一個 AI Agent 的潛力，很快將不再只看它背後的模型參數有多大，而是要看它的「操作支架」（operational scaffold）有多靈活、多麼經得起自我迭代。過去一年多，我們見證了 Agent 從研究展示走向實際部署，但其能力的真正擴展，不太可能單靠堆疊更大的模型權重。下一波進步的關鍵，將來自 Agent 能否審視、修改、甚至重寫自身的工具鏈、工作流程與控制邏輯。這種從模型為中心（model-centric）轉向系統為中心（system-centric）的演化觀點，才是通往更可擴展、更自主智慧的務實路徑。

AI Agent 如何進化？模型與支架的雙重路徑

要理解這個轉變，我們需要一個更清晰的框架。近期一篇關於自我進化 Agent 的綜述研究，提供了一個很好的切入點。它將一個現代 Agent 解構成兩個核心部分：

1. 基礎模型（Foundation Model）：也就是我們熟悉的 LLM，它提供核心的語言理解、推理與生成能力。它的「進化」主要透過權重更新（weight updates），例如持續預訓練或微調。
2. 操作支架（Operational Scaffold）：這是一套圍繞著基礎模型的系統性結構，包含了提示（prompts）、記憶體（memory）、工具使用（tools）以及控制整體流程的程式碼邏輯。它的「進化」則是透過支架更新（scaffolding updates），也就是修改提示、新增工具、或重寫控制流程。

過去，業界的焦點高度集中在前者，相信只要模型夠大、資料夠多，智慧就會湧現。然而，這個路徑的成本極高，且常伴隨災難性遺忘（catastrophic forgetting）等問題。

相對地，後者提供了一條更模組化、更可控、也更具成本效益的進化途徑。一個 Agent 不需要重新訓練數千億參數的模型，就能透過修改幾行控制程式碼或優化一個提示模板，來學會新的工作流程或使用新工具。例如，Toolformer 這類研究就展示了語言模型如何透過自我學習來有效利用外部工具，這在實務上意義重大。

為什麼操作支架的自我迭代更關鍵？

當我們把焦點從模型轉向支架，Agent 的能力天花板就不再只由模型決定，而更多取決於整個系統的設計。我認為支架的自我迭代之所以關鍵，主要有幾個原因。

首先，它更符合軟體工程的邏輯。修改或擴充一個定義好的介面（如工具 API）或流程腳本，遠比動手術修改一個黑箱神經網路來得安全、可預測。這讓 Agent 的能力演進變得更可解釋、也更可治理。例如，像 MetaGPT 這樣的框架，就透過多 Agent 協作，將複雜的軟體開發流程模組化，進一步證明了系統級設計的重要性。

其次，它讓 Agent 的適應速度大幅提升。權重更新可能需要數週的 GPU 訓練，但一個聰明的 Agent 可以在幾分鐘內，透過「生成-測試-修補」（generate-test-patch）的循環，為自己寫出一個新的 Python 工具函式來解決當前任務。這正是我們在一些前沿研究中看到的趨勢，例如 NVIDIA 的 Voyager Agent，它在 Minecraft 環境中，就是透過不斷生成、測試和修正程式碼來擴充自己的技能庫，最終在遊戲中自主發現了 63 種新物品，其探索效率遠超以往的方法。

真正可擴展的智慧，正在從 model-centric 轉向 system-centric。Agent 的能力天花板，將越來越取決於其操作支架的設計與演化潛力，而非單純的參數數量。

最後，這開啟了 Agent 設計的開放式探索（open-ended search）。當一個 Agent 能夠自我修改，它就不再局限於人類開發者預設的框架。它可以嘗試全新的記憶體結構、發明更有效率的工具組合，甚至重構自己的決策迴圈。這是一種更深層次的自主性，也是邁向能夠在複雜、動態環境中長期運作的 Agent 的必要條件。

驅動進化的信號從何而來？

Agent 要能自我進化，無論是更新權重還是支架，都需要一個清晰的學習信號（learning signal）。根據目前的學術整理，這些信號主要來自三個源頭：

• 內在生成式演示（Intrinsic Generative Demonstrations）：Agent 透過自我反思，生成高品質的範例來教導自己。例如，它可以先草擬一個解決方案，然後再扮演批判者角色，對其進行改進，最後將優化後的版本作為未來學習的範本。這種 Self-Instruct 的概念，讓 Agent 能在沒有大量人工標註資料的情況下擴充知識。
• 內在評估式反饋（Intrinsic Evaluative Feedback）：Agent 根據一套預設的原則或價值觀（即「憲法」），來評估和修正自己的行為。Anthropic 的 Constitutional AI 就是典型，模型學會避免產生有害輸出，不是靠人類標註，而是靠自我批判與修正。
• 外在探索式經驗（Extrinsic Exploratory Experience）：Agent 在真實或模擬環境中行動，並從環境給予的直接回饋（成功、失敗、獎勵、懲罰）中學習。前述的 Voyager 專案就是最佳範例，環境的回饋直接驅動了它程式碼庫的演進。

總結來說，我們正處於一個重要的轉折點。AI Agent 的發展重心，正從單純追求基礎模型的規模，轉向設計一個能夠自我完善的整合系統。未來的頂尖 Agent，可能不是擁有最大模型的那個，而是那個最擅長修改自己、重寫工具、並從經驗中演化出更優越操作支架的系統。這是一條更具挑戰性，但也更充滿潛力的道路。

延伸閱讀

• A Survey of Self-Improving Large Language Model Agents
• Voyager: An Open-Ended Embodied Agent with Large Language Models
• MetaGPT: Meta Programming for Multi-Agent Collaborative Framework
• Toolformer: Language Models Can Teach Themselves to Use Tools

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。