多模型架構的真價值：從模型大亂鬥到可治理的認知多樣性

多模型編排（multi-model orchestration）的真正價值，不在於多開幾個 API 來做簡單的投票或平均，而在於刻意地將「認知多樣性」（cognitive diversity）作為系統設計的核心。透過引入具備不同偏誤、不同推理風格與不同知識覆蓋的語言模型，再由一個主體層（subject layer）進行權衡與統合，我們才能將分歧的觀點轉化為更穩健、更具深度的最終輸出。這不僅是技術上的堆疊，更是建立可治理、可信任 AI 系統的關鍵一步。

長期以來，我們習慣於尋找那個「最好」的單一大型語言模型（LLM）來解決所有問題。然而，任何單一模型，無論多麼強大，都必然存在其固有的偏見、知識盲點與推理慣性。就像一個再聰明的專家，也無法涵蓋所有領域的知識與觀點。

最近，一個名為 ThreeBody 的個人開發專案，為我們展示了一種更成熟的思路。這個歷時約兩個月、超過 200 次程式碼提交的原型，並非追求單一模型的極致，而是探索如何讓多個 LLM 並行思考，並由一個「主體」來統合最終答案。這個設計理念，恰好觸及了 AI 系統設計的下一個重要課題。

為什麼我們需要「認知多樣性」？

在人類組織中，「認知多樣性」早已被證明是解決複雜問題的關鍵。一個由背景、觀點、解決問題方法各異的成員組成的團隊，通常比一個同質性高的團隊更能提出創新且穩健的方案。正如學者 Scott E. Page 的研究指出，在面對複雜任務時，團隊成員的認知多樣性比個體成員的平均能力更為重要。這個道理同樣適用於 AI 系統。

當前的 LLM 來自不同的開發機構（如 OpenAI、Anthropic、Google），並基於不同的資料集與訓練方法。這使得它們各自形成了獨特的「世界模型」與推理偏好。例如，一個模型可能在程式碼生成上表現優異，另一個則在創意寫作上更具天賦；一個可能傾向於提供保守、安全的答案，另一個則可能更願意進行推測與聯想。這種差異，正是我們需要的「認知資產」。

如果我們只依賴單一模型，就等於放棄了從其他「思維模式」中獲益的機會，並將系統的可靠性完全寄託於單一、潛在有缺陷的認知框架上。許多研究都已揭示，大型語言模型會複製甚至放大訓練資料中的偏見，引入多樣性是制衡這種現象的有效策略。

如何從「模型大亂鬥」走向「可治理的統合」？

僅僅將多個模型的 API 串接起來，讓它們同時回答問題，這並不是真正的認知多樣性設計，反而可能變成一場混亂的「模型大亂鬥」。關鍵在於如何設計一個有效的統合（synthesis）機制。這正是 ThreeBody 專案的核心設計：它建立了一個「主體-副體」（subject-sub-subjects）架構。

在這個架構中，使用者提出的問題會先分派給多個「副體」模型（例如，一個 GPT-4o、一個 Claude 3.5 Sonnet，以及一個本地端的 Llama 3）並行處理。然而，這些副體的答案不會直接呈現給使用者。

它們會被提交給一個指定的「主體」模型。這個主體模型的任務，是閱讀並理解所有副體的觀點，然後基於這些多元的輸入，形成一個更全面、更平衡的最終答案。

真正的多模型系統設計，重點不在於 ensembling 本身，而在於如何把 diversity 變成可治理的 synthesis。

這種做法與傳統的機器學習集成方法（Ensemble Methods）有著本質區別。簡單的集成方法通常採用投票或平均的方式，目標是透過多數決來提高準確性、降低單一模型的錯誤率，這是一種相對被動的降噪過程。

然而，認知統合則是由一個指定的統合者（主體模型）主動進行分析、比較、權衡與整合。它不僅是選擇「最好」的答案，而是可能基於不同觀點的碰撞，創造出一個任何單一副體都無法獨立產生的、更具洞察力的全新答案。這類似於模擬人類的系統二思維（System 2 thinking），是一種更深度的、耗費更多認知資源的決策過程。

透過這種主體層的設計，我們將模型的「分歧」從一個問題變成了一個寶貴的特性。主體可以被明確指示去尋找共識、標示爭議點，甚至質疑所有副體的共同盲點。這使得整個系統的決策過程變得更加透明和可治理。

多模型架構的權衡與未來潛力何在？

當然，這種架構並非沒有代價。最明顯的權衡就是成本與延遲。調用三個模型的 API 費用自然是單一模型的三倍，而等待所有副體完成推理、再由主體進行統合，整個流程的時間也會顯著增加。因此，這種設計並不適用於所有場景，而是特別適合那些對答案的品質、穩健性與可靠性有極高要求的複雜任務，例如策略分析、法律文件審查或重要的科學研究。

展望未來，這種刻意設計認知多樣性的方法，是通往更複雜、更強大的 AI 系統的必經之路。它不僅是當下提高系統可靠性的實用技術，也為未來多代理系統（Multi-Agent Systems）的發展奠定了基礎。

我們可以想像，未來的 AI 系統將不再是單一的「全知大腦」，而是一個由多個專精不同領域、持有不同觀點的 AI 代理組成的協作網路。這與專家混合（Mixture-of-Experts, MoE）架構在底層模型設計上的思路不謀而合，都是承認「單一」的侷限，擁抱「多元」的力量。

從 ThreeBody 這樣一個小巧的原型中，我們看到的遠不止一個有趣的技術展示。它揭示了一種系統設計的哲學轉變：從追求單一模型的「神諭」，轉向建立一個可治理、能夠駕馭內部分歧的「認知議會」。這或許才是我們打造能與人類進行長期、深度協作的 AI 系統時，真正該走的路，就像 CAMEL 等研究中所探索的代理人社會一樣。

延伸閱讀

• TKT's Zenn Blog: ThreeBody: A Prototype for Multi-LLM Parallel Thinking
• University of Michigan CSCS: Cognitive Diversity Research Project
• Bender, Gebru, et al. (2021): On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜
• Shazeer, et al. (2017): Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。