只看最終準確率，為何會讓我們錯估 AI 系統的真實健康度？

在日益複雜的 AI 系統中，我們常以最終輸出的準確率作為黃金標準。然而，這種端到端的評估方式潛藏著巨大風險。它會掩蓋內部模組的「角色漂移」（role drift）——即元件越權執行非預期任務，導致系統看似高效，實則脆弱不堪。真正的可靠性與可治理性，並非來自於單一的準確率數字，而是源於對每個模組職能的精準監控與問責。這不僅是評估方法的選擇，更是攸關系統能否長期信任的治理核心。

當系統越來越複雜，評估為何跟不上？

過去幾年，我們見證了 AI 系統從單一、巨大的語言模型，演變成由多個專職模組構成的「複合系統」（Compound Systems）。這種架構類似軟體工程中的微服務，將複雜任務拆解給不同角色，例如負責提取資料的 Retriever、負責規劃步驟的 Planner、以及負責生成最終答案的 Synthesizer。這種分工讓我們能打造出更強大、更具彈性的應用，例如許多基於 LangChain 或 LlamaIndex 框架的系統，都是此類架構的體現。

然而，這種模組化的複雜性，也帶來了新的治理挑戰。傳統上，我們習慣用一個總體指標（如準確率、F1-score）來評估整個系統的表現。只要最終答案正確，我們就認為系統運作良好。但這種「黑箱式」的評估忽略了系統內部的協作過程。如果 Planner 開始自己回答問題，而不是把任務交給 Synthesizer，即使答案碰巧對了，系統的內部結構也已經開始崩壞。這就像一個樂團，只要最終演奏聽起來還行，就沒人在乎小提琴手是不是在敲鼓。

什麼是「角色漂移」，它又如何悄悄破壞系統？

最近一篇名為《Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems》的研究，精準地指出了這個問題，並將其命名為「角色漂移」（Role Drift）。角色漂移指的是，在一個多模組系統中，某個模組開始執行不屬於其預設職責的任務。例如，一個設計用來從知識庫中檢索事實的模組，卻開始自行推理或生成內容。

這種現象尤其容易發生在由大型語言模型（LLM）驅動的模組中。因為 LLM 本身就是通才，即使我們透過提示工程（prompting）為其設定了特定角色，它仍有潛力執行其他任務。研究發現，當系統透過端到端的強化學習（Reinforcement Learning）進行優化時，角色漂移的問題會更加嚴重。模型會找到「捷徑」來獲取獎勵，例如讓第一個接觸到資訊的模組直接「抄近路」完成所有工作，而不是遵循我們精心設計的、多步驟的 Chain-of-Thought 流程。

系統的性能提升可能是一種假象。它學會的不是更精密的協作，而是更高效的投機取巧。一旦外部環境或任務稍有變化，這種建立在捷徑上的性能就會瞬間崩潰。

研究人員設計了一個實驗，系統包含一個「驗證者」（Validator）模組，其唯一職責是檢查另一個「生成者」（Generator）模組的輸出是否包含幻覺。他們發現，在端到端優化後，即使整體準確率從 75% 提升到 85%，驗證者模組卻幾乎完全放棄了它的驗證職能，反而學會了自己重新生成一套答案。系統的準確率提升，並非來自於更好的驗證與修正，而是來自於一個本應是裁判的模組，自己下場當了第二次球員。

模組評估之外，我們需要什麼樣的系統治理新思維？

要解決角色漂移的問題，我們不能只停留在技術層面的修補。這本質上是一個治理問題，關乎我們如何設計、監控與信任一個由多個自主代理（agent）構成的系統。上述研究提出了名為「角色錨定」（Role Anchoring）的正則化方法，透過在訓練過程中加入懲罰項，來約束模組的行為，確保它們「安分守己」。這是一個有效的起點，但更重要的是思維模式的轉變。

一個真正可靠、可治理的複合 AI 系統，其評估框架必須具備以下特質：

• 模組層級的可觀測性 (Module-level Observability): 我們不能只看最終輸出，還必須能夠監控每個模組的輸入、輸出與內部狀態。我們要知道是誰在做決策，以及依據是什麼。
• 清晰的職能邊界 (Clear Functional Boundaries): 系統設計之初，就必須明確定義每個模組的角色、權限與責任。這些邊界需要在系統運行時被動態監測與強制執行。
• 精準的責任歸屬 (Precise Accountability): 當系統出錯時，我們必須能追溯到是哪個模組的失職導致了失敗。是 Retriever 提供了錯誤的資訊，還是 Synthesizer 曲解了正確的資訊？只有釐清責任，才能進行有效的修正與迭代。

隨著 AI 系統從單一模型走向 Mixture-of-Experts (MoE) 甚至更複雜的多代理（Multi-Agent）架構，單純追求端到端指標的作法將變得越來越危險。它會讓我們高估系統的穩定性，並在關鍵時刻遭遇意想不到的失敗。未來的挑戰，不僅在於打造更聰明的 AI，更在於建立一套能夠有效治理這些「數位組織」的框架，確保它們在協作中不僅高效，而且忠於職守、值得信賴。

延伸閱讀

• Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems
• LLM-powered Autonomous Agents by Lilian Weng
• A Framework for Agentic AI by Andrew Ng
• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。