AI Agent 的學習成果，是真實力還是幸運？
當 AI Agent 宣稱學會新技能，我們該如何判斷這是可重現的真實能力，還是僅僅是特定條件下的幸運巧合？這不僅是技術問題，更是關乎系統可信度的治理挑戰。從脆弱的自我提升現象，我們看見建立穩健「評估維運 (Evaluation Ops)」的迫切性。
自我提升 Agent 的漂亮成績不必然代表能力已泛化；任務順序、隨機種子與未明示條件，都可能把偶然成功包裝成進步。評估必須檢驗可重現性與策略遷移，否則系統會在錯誤的信心下被推向更高自治。
成功的脆弱性：隱藏在任務順序中的「課程」
近年來，能夠透過與環境互動、從記憶中學習並自我改進的 AI Agent 成為研究熱點。然而，一篇名為《On the Fragility of Self-Improving Agents》的研究為這股熱潮提供了冷靜的視角。研究發現，這類 Agent 的表現極不穩定，成功與否高度取決於它們接觸任務的先後順序。換句話說，系統的成功並非來自真正通用的解決問題能力，而是源於一個「隱含的課程 (implicit curriculum)」。
這個概念類似於人類的學習過程：我們先學算術，再學代數，最後才接觸微積分。如果順序顛倒，學習將變得極其困難。AI Agent 同樣受此限制，但問題在於，這個「課程」往往是偶然形成的，而非精心設計。研究人員發現，僅僅是調換幾個早期任務的順序，或改變初始化的隨機種子（random seed），就可能導致 Agent 的最終性能出現超過 70% 的巨大落差。這揭示了一個令人不安的現實：我們所慶祝的許多「自主學習」成果，可能只是一種在特定路徑下的過度擬合（overfitting），而非可泛化的智慧。
為什麼我們需要正視「評估維運 (Evaluation Ops)」？
當 AI Agent 的學習成果連在實驗室環境中都難以重現時，我們該如何信任並將其部署到複雜多變的真實世界？這正是「評估維運 (Evaluation Ops)」概念變得至關重要的原因。它主張我們需要像對待軟體開發的 DevOps 一樣，建立一套系統化、自動化且持續性的評估流程，來確保 AI 系統的穩健性與可靠性。
那麼，一個健全的「評估維運 (Evaluation Ops)」框架究竟該包含哪些核心要素呢？首先，我們不能只滿足於標準數據集的測試，必須主動引入「對抗性擾動 (Adversarial Perturbations)」，例如加入噪聲或改變環境參數，來探測 Agent 的極限。其次，要系統性地進行「任務順序的排列組合」，確保 Agent 的能力並非依賴於單一的「幸運路徑」。此外，透過「多樣化的隨機種子」進行多次實驗，量化成果的變異數，是評估其穩定性的關鍵。最後，也是最常被忽略的一點，是「處理未定義情境 (Underspecification)」。正如 Google 研究團隊在一篇論文中所強調的，許多機器學習模型在面對訓練數據中未明確定義的模糊地帶時表現脆弱，因此評估時必須納入這類情境，考驗 Agent 的應變能力。
若缺乏這樣的嚴謹流程，我們就像在沒有品管的產線上製造產品，每一次的成功都可能是無法複製的偶然。類似 AgentBench 這類評估基準的出現，正是朝這個方向邁出的重要一步，它提供了橫跨 8 種不同環境的標準化測試，但我們需要的遠不止於此。
為什麼我們需要從可重現性進一步思考「可遷移策略的治理」？
解決脆弱性問題的最終目標，不僅僅是讓實驗結果可以重現，而是要確保 Agent 學到的「策略」是可遷移的（transferable）。一個真正有價值的 Agent，應該能將在某個任務中學到的通用原則，應用到一個全新的、從未見過的場景中。
我們真正需要的，不是能在單一迷宮中找到出口的專家，而是一個學會「如何探索未知空間」的通用策略家。
這將議題從技術層面的評估，提升到了治理層面。我們需要建立標準來界定：什麼才算是「已驗證的通用能力」？企業或組織在部署一個自我提升 Agent 前，應該要求哪些評估報告？這涉及到風險管理與責任歸屬。例如，DeepMind 等頂尖實驗室已開始討論 AI 安全與對齊（alignment）的治理框架，而評估學習成果的穩健性，正是其中不可或缺的一環。
從課程學習 (Curriculum Learning) 的早期概念，到如今對 Agent 通用性的追求，我們看見了 AI 發展的軌跡。然而，越是強大的系統，其潛在的失效模式也越是隱蔽。自我提升的脆弱性提醒我們，在追求更高性能的同時，必須以同等、甚至更高的力道，去建立確保其可靠、可信的基礎設施與治理規範。這條路並不容易，但卻是通往真正通用人工智慧的必經之路。
延伸閱讀
- D'Amour, A., et al. (2020). Underspecification Presents Challenges for Credibility in Modern Machine Learning.
- Liu, G., et al. (2023). AgentBench: Evaluating LLMs as Agents.
- Stanford HAI (2024). Introducing AI's Inspection Problem.
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。