打破 AI 的讚美陷阱：建構具備認知多樣性的評估回路
單一 AI 模型評估常陷入討好與慣性，給出缺乏批判性的讚美。本文將深入探討如何超越簡單的多模型附和，設計一套具備「結構化異議」的評估系統。透過明確的角色分工與交叉審查，我們能將空泛的肯定轉化為有價值的改進建議，從而建立更可靠、更具韌性的 AI 協作流程，讓 AI 真正成為成長的助力。
當我們用 AI 評估工作時，是否常得到空泛的讚美而非實質洞見？這並非偶然，而是單一模型容易陷入討好與評價慣性的結果。許多人以為多找幾個模型來附和就能解決問題，但真正的價值，在於設計一套能產生實質反駁與交叉審查的評估回路。可靠性來自異質觀點的對撞，而非單一路徑的自我肯定。這套方法論，我稱之為建立 AI 系統的「認知多樣性」（Cognitive Diversity），是從單點工具思維邁向系統化協作的關鍵一步，讓 AI 成為我們成長的真正夥伴。
為何 AI 的回饋總是像在討好？
請 AI 助理（例如 GPT-4 或 Claude 3）評價一份報告或一段程式碼時，您是否也曾收到「結構清晰、論點有力」、「程式碼風格良好、效率很高」這類正向卻缺乏具體改進方向的回饋？即使我們刻意要求「請嚴格批判」，模型的回應依然相當保守。這並非偶然，而是大型語言模型（LLM）在訓練過程中形成的固有傾向。
研究顯示，模型為了在對齊（alignment）過程中表現得「有幫助且無害」，往往會避免直接的衝突與尖銳的批評，產生一種被稱為「迎合」（sycophancy）的現象。模型傾向於附和使用者隱含的觀點或期望，給出聽起來正面、安全的答案，而非真正具有挑戰性的洞見。這種評價慣性，讓單一模型的評估價值大打折扣，我們得到的只是廉價的肯定，而非成長所需的鏡子。
如何設計一個具備「結構化異議」的評估系統？
既然單一模型的觀點有其侷限，直覺的解法是引入第二、第三個模型。然而，只是簡單地將同一個問題拋給不同模型，往往只會得到大同小異的讚美。要打破這個迴圈，關鍵不在於增加模型的「數量」，而在於設計一個鼓勵「異議」的結構。日本開發者メトロノーム提出的「節拍器評估法」便是一個很好的實踐框架，其核心是為不同模型分配特定、甚至對立的角色。
一個簡單有效的評估回路可以這樣設計：
- 模型 A（執行者）： 負責產出初版的內容，例如草擬一份商業計畫或撰寫一段 Python 程式碼。
- 模型 B（批判者）： 專門扮演反對角色。它的任務不是肯定，而是「從最嚴苛的角度找出三個最致命的潛在缺陷」。這個指令（instruction）本身就打破了模型的討好慣性。
- 模型 C（整合者）： 接收模型 A 的初稿與模型 B 的批判，然後提出一個綜合兩者觀點的修訂版，並解釋其修改的理由。
這個流程的重點在於，我們不再期待單一模型能同時扮演好執行與糾錯的角色。透過明確的角色分工，我們創造了一個「結構化異議」（structured dissent）的機制。模型 B 的存在，確保了系統中永遠有一個聲音在提出反對意見，迫使整個系統進行更深度的思考與自我修正。這種透過多代理人辯論（multi-agent debate）來提升決策品質的方法，已被證明能有效減少幻覺並提高推理的準確性。
真正的可靠性，不是來自單一權威的肯定，而是來自一個能夠容納、處理並整合異質觀點的強健流程。
認知多樣性如何提升 AI 系統的整體韌性？
這種多模型、多角色的評估方法，不僅是一個提升回饋品質的技巧，更是一種系統設計哲學。它讓我們從「使用 AI 工具」的思維，轉向「建構 AI 系統」的思維。在學術界，同行審查（peer review）是確保研究品質的基石；在法律體系中，控辯雙方的對抗是發現真相的途徑。這些制度的共通點，都是承認任何單一觀點都可能存在盲點，並透過結構化的方式引入外部審查與挑戰。
將這個概念延伸，我們可以為更複雜的 AI Agent 系統設計類似的內部治理機制。例如，在一個自動化交易系統中，可以設計一個「風險控管 Agent」，其唯一目標就是質疑並試圖否決「交易執行 Agent」的每一個決策。這種內部制衡（checks and balances）能大幅提升系統的穩定性與安全性。
值得一提的是，Anthropic 的 Constitutional AI 框架，也是透過一套原則（constitution）來引導模型自我批判與修正，本質上亦是內化了這種異議機制。
當我們面對的任務越複雜、風險越高，就越不能依賴單一模型的判斷。無論是程式碼審查、策略擬定，還是科學研究，下一步的挑戰不再是榨出單一模型 100% 的潛力，而是如何設計一個由多個異質 AI（甚至人機協作）組成的認知網絡。在這個網絡中，每個節點都有其獨特的視角與功能，而系統的智慧與可靠性，正是在這些觀點的碰撞、辯論與整合中湧現出來的。
延伸閱讀
- Improving Factuality and Reasoning in Language Models through Multi-Agent Debate (arXiv)
- Claude's Constitution (Anthropic)
- 「AIに評価させると甘くなる」をどう解決するか (Zenn.dev)
- The Sleuth's Gambit: A Game-Theoretic Approach to Verifying Large Language Models (arXiv, on sycophancy)
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。