停止追逐評分：AI 品質的關鍵在於「錯誤治理」，而非自動化

在追求 AI 系統品質的過程中，許多團隊急於導入 LLM-as-a-Judge 等自動化評估框架，希望能快速迭代。然而，我的觀察是，這種作法往往本末倒置。真正能提升 AI 品質的關鍵，並非再疊加一層自動化工具，而是回歸最根本的人工錯誤分析、失敗型態分類，並由領域專家親自定義評估標準。一個脫離了任務語境的評估系統，最終只會產出漂亮卻無用的分數，讓我們在產品開發中迷失方向。這不僅是技術問題，更是評估治理（evaluation governance）的核心，決定了我們能否真正理解並改進 AI 表現。

為什麼 LLM-as-a-Judge 不是萬靈丹？

近年來，「以大型語言模型作為評估者」（LLM-as-a-Judge）的概念非常流行，像 LMSYS 的 Chatbot Arena Leaderboard 就透過模型間的配對比較，成功建立了一個廣受認可的通用模型排行榜。其背後的吸引力顯而易見：自動化評估能解決人工標註成本高昂、速度緩慢的瓶頸，讓團隊能以更快的速度進行模型實驗與迭代。

然而，當我們將這個概念直接應用於特定產品時，問題便浮現了。一個通用的 LLM 評審，如果沒有經過針對性的調校與提示工程，它評分的標準是什麼？通常是流暢度、文法、表面上的資訊豐富度。但它無法判斷答案是否符合產品的業務邏輯、是否遵循了特定的輸出格式、或者語氣是否符合品牌規範。更重要的是，2023 年的研究已經指出 LLM 評審本身存在多種偏誤，例如位置偏誤（position bias）、冗長偏誤（verbosity bias）以及自我偏好（self-preference bias），這些都會污染評估結果的公正性。

在沒有定義清楚「何謂好的回應」之前就貿然導入自動化評審，無異於在不知道目的地的情況下，只求開得快。我們得到的可能是一個高分，但這個分數對提升產品的實際使用者體驗，幾乎沒有幫助。

評估的起點：如何從對話日誌中挖掘「失敗模式」？

那麼，正確的起點在哪裡？我認為，在撰寫任何評估程式碼之前，團隊的核心成員——包括產品經理、工程師與領域專家——應該先坐下來，親自閱讀至少 100 到 200 則真實的使用者對話日誌。這項看似繁瑣的工作，是建立有效評估體系的基石。

目標不是要窮盡所有錯誤，而是要從中識別出反覆出現的「失敗模式」（failure patterns）。這些模式完全取決於你的應用場景。例如，一個用於金融諮詢的 AI Agent，其失敗模式可能包括：

• 事實錯誤 (Factual Error): 提供了過時的法規資訊或錯誤的市場數據。
• 指令遵循失敗 (Instruction Following Failure): 未能按照使用者要求，以條列式總結投資組合的風險。
• 過度承諾 (Over-commitment): 給出了帶有保證性語氣的投資建議，違反合規要求。
• 語氣不當 (Inappropriate Tone): 回應過於樂觀或輕率，未能展現金融領域應有的嚴謹。
• 安全護欄失效 (Safety Guardrail Failure): 在偵測到使用者意圖可能涉及詐騙時，未能及時中斷對話或發出警示。

只有當我們將這些具體的失敗模式一一識別並分類後，才能開始討論如何衡量它們。這些分類本身，就構成了一套有意義、且與業務目標直接相關的評估指標。這份由人工分析得出的質化洞察，是任何自動化系統都無法取代的。

評估系統若脫離任務語境，就只會產生漂亮但無效的分數。

如何建立有效的評估治理框架？

有了對失敗模式的深刻理解，我們才能進一步建立一個穩固的評估治理框架。這不僅僅是選用一套工具，而是一套持續運作的流程。

首先，基於挖掘出的失敗模式，建立一個由領域專家維護的「黃金測試集」（Golden Set）。這個測試集包含一系列具有代表性的案例，每個案例都清楚標註了預期的「好回應」與已知的「壞回應」類型。這個測試集是所有評估工作的「單一事實來源」（single source of truth），無論後續是採用人工評估、傳統指標（如 BLEU、ROUGE），還是更複雜的 LLM-as-a-Judge，都必須以能準確反映這個黃金測試集的結果為目標。

其次，評估的視野需要超越單一分數。一個成熟的儀表板應該同時追蹤多個維度，例如「事實錯誤率」、「指令遵循成功率」、「不當語氣出現頻率」等。這讓我們能更精準地診斷模型的問題所在。正如2023 年一份關於 LLM 評估的綜合研究所指出的，對模型的評估需要涵蓋正確性、安全性、穩健性等多個層面。

最終，當我們回頭考慮自動化方案時，目標也變得更清晰。我們可以利用 RLAIF（Reinforcement Learning from AI Feedback）等技術，訓練一個專門用來獎勵「好行為」、懲罰「已知壞行為」的評估模型。但這個 AI 評審的判斷標準，源頭依然是我們最初透過人工分析所定義的規則與價值觀。自動化是放大專家知識的手段，而非取代專家判斷的捷徑。

歸根究底，提升 AI 品質的關鍵，不在於找到更聰明的評估者，而在於我們自己是否足夠清楚地定義了「好」與「壞」的邊界。這個定義權，必須牢牢掌握在理解業務、理解使用者的領域專家手中。

延伸閱讀

• LLM-as-a-Judge を作る前に、人がログを読む (本文主要觀點的啟發來源)
• Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality (LMSYS 對 LLM-as-a-Judge 的早期探索)
• A Survey on Evaluation of Large Language Models (一份全面的 LLM 評估方法學術綜述)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。