多模型系統的下一步：從 API 調度到可治理的共識決策
多模型架構不應止於 API 聚合。本文從 Amazon Bedrock AgentCore Harness 的實踐出發，探討如何建立一個超越簡單模型切換的治理框架，透過可控的共識審核與智慧路由，實現兼具成本效益、可追溯性與可靠度的 AI 系統。
多模型（multi-model）系統已是打造穩健 AI 應用的必然趨勢，但其核心價值不應只停留在 API 的聚合與調度。真正的挑戰與機會，在於建立一套可治理的決策框架，將不同模型的輸出轉化為可控的共識。這意味著我們需要超越簡單的模型切換，設計一個能夠編排成本、效能、反駁機制、人類覆核與結果可追溯性的完整系統。像 Amazon Bedrock AgentCore Harness 這類工具提供了絕佳的工程基盤，但它只是起點，而非終點。我們必須在此之上，建構真正的智慧路由與共識審核機制，這才是多模型架構的精髓所在，也是本文將深入探討的重點。
為什麼多模型系統不只是 API 聚合器？
長期以來，我們習慣於圍繞單一大型語言模型（LLM）來建構應用。這種作法雖然單純，卻隱含著幾個根本性風險：單點故障、難以抑制的固有偏見，以及在成本與效能之間無法兩全的窘境。沒有任何一個模型能在所有任務上都達到最佳表現，這使得「模型即平台」的思維變得不切實際。
導入多模型架構，本質上是在系統層級實現「認知多樣性」（Cognitive Diversity）。如同人類團隊一樣，不同模型有其獨特的「專長」與「視角」。例如，Anthropic 的 Claude 3 Haiku 模型可能在低延遲的文本摘要任務上性價比極高，而其高階的 Claude 3.5 Sonnet 則在複雜的程式碼生成與視覺分析上更具優勢。一個成熟的系統，應該要能根據任務的性質、成本預算與風險等級，動態地選擇最適合的模型組合。
這就引出了一個關鍵問題：簡單地將多個模型的 API 封裝在同一個端點後方，是遠遠不夠的。這就好比建立了一個擁有各領域專家的電話簿，卻沒有任何專案經理或審核流程來決定「何時該打給誰」、「如何驗證他們的建議」，以及「當專家意見衝突時該怎麼辦」。一個真正的多模型系統，必須是一個具備智慧路由（intelligent routing）與共識形成（consensus formation）能力的有機體，而不僅僅是一個被動的 API 聚合器。
AgentCore Harness 如何成為多模型治理的基石？
要實現上述的理想系統，一個穩固的工程基盤至關重要。最近，AWS 的 Amazon Bedrock Agents 中的 AgentCore Harness 功能，便為此提供了極具潛力的解決方案。它允許開發者透過單一端點，利用 per-invocation override 參數，在每次呼叫時動態指定要使用的模型。這徹底解決了整合不同供應商、不同 API 格式模型的工程痛點。
在一項針對日文文本多重審核的技術驗證中，開發者成功地透過單一 Harness 端點，順暢調用了七種截然不同的模型，包括 Anthropic 的 Claude 3 系列（Haiku, Sonnet, Sonnet 3.5）、Cohere Command R+、Mistral Large，以及 Amazon 自家的 Titan 和最新的 Bedrock Mantle 模型。這項實踐證明，在基礎設施層面，我們已經可以輕易地將多樣化的模型能力整合到單一工作流中，而無需為每個模型維護獨立的客戶端和認證邏輯。
基礎設施的簡化，是為了讓開發者能將精力聚焦在更高層次的治理邏輯上。AgentCore Harness 解決了「如何調用」的問題，而我們接下來必須回答「應該如何決策」。
有了這樣的調度基盤，我們便能開始設計更上層的治理框架。這個框架的核心，不再是手動切換模型，而是建立一套自動化、有規則可循的決策流程。
如何建立可控的共識與審核機制？
一個可治理的多模型系統，至少應該包含以下幾個核心組件，它們共同形成一個閉環的決策與優化流程：
- 智慧路由層（Intelligent Router）：這是系統的大腦。它接收到任務請求後，並非盲目地將其拋給某個預設模型，而是根據任務的複雜度、語意內容、成本限制等因素，選擇一個或一組最適合的候選模型。這與 Mixture-of-Experts (MoE) 架構在模型內部的運作原理相似，但我們是將其應用在獨立的、黑箱的外部模型之間。
- 平行調用與證據收集（Parallel Invocation & Evidence Gathering）：對於需要高度準確性或創造性的任務，路由器可以指示 AgentCore Harness 同時調用多個模型（例如，一個注重事實，一個注重創意）。系統會收集所有模型的輸出，作為後續決策的「證據」。
- 共識引擎與反駁機制（Consensus Engine & Rebuttal Mechanism）：這是系統的核心。引擎會比較多個模型的輸出。如果結果高度一致，則該結果的可信度較高，可以直接通過。如果出現顯著分歧，系統會觸發反駁（rebuttal）或升級程序。例如，可以讓一個更高階的模型（如 Claude 3 Opus）來扮演「仲裁者」的角色，對相互矛盾的結果進行評估與裁決。這種模式在 AutoGen 這類多代理人（multi-agent）框架中已有雛形。
- 人類覆核迴圈（Human-in-the-Loop Review）：對於最高風險或模稜兩可的決策，系統應能無縫地將問題升級給人類專家。所有模型的輸出、仲裁模型的判斷，都應以清晰、可追溯的方式呈現給人類，以輔助其最終決策。
- 可追溯性與持續優化（Traceability & Continuous Optimization）：每一次的調用、路由決策、共識結果與成本，都必須被詳細記錄。這些數據不僅是為了事後審計，更是為了持續優化智慧路由層的決策模型。透過分析歷史數據，系統可以學習到在何種情況下，哪種模型組合的性價比最高，從而實現成本與效能的動態平衡，這也是模型級聯（model cascading）策略的核心精神。
總結來說，多模型系統的未來，不在於擁有更多的模型選擇，而在於我們如何智慧地編排它們。像 AgentCore Harness 這樣的工具為我們鋪平了道路，但真正的價值創造，來自於在其上建立起那套精密的、可治理的、能夠形成可靠共識的決策系統。這不僅是工程上的挑戰，更是對我們設計可信任 AI 系統能力的考驗，正如 Stanford HELM 等評測基準持續提醒我們的，模型的表現是在特定脈絡下才有意義的。
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。