告別「感覺良好」：建立可追蹤的 LLM 系統評估紀律

在開發大型語言模型（LLM）應用時，許多團隊的迭代流程依賴直覺與個案測試，只要幾個範例看起來「感覺變好了」，就視為一次成功的改進。然而，這種缺乏量化驗證的開發文化，正是一種危險的陷阱。它讓我們無法區分真正的系統性提升與機率性的偶然表現。一個成熟的 AI 工程團隊，其價值不在於 prompt 調得多麽花俏，而在於是否建立了一套可重複、可比較、且能有效追蹤效能退化（regression）的評估紀律（evaluation discipline）。這才是讓系統從「堪用」邁向「可靠」的關鍵分野。

為什麼「感覺良好」的迭代方式如此危險？

LLM 的核心特性之一是其機率性（probabilistic nature）。同一個 prompt，即使設定了固定的 temperature，輸出結果也可能存在細微、甚至顯著的差異。當我們只憑幾個「精心挑選」的案例來判斷模型好壞時，其實是在進行一種確認偏誤（confirmation bias）下的 cherry-picking。我們很容易因為看到一兩個驚艷的結果，就忽略了這次改動可能在其他數百個情境下，造成了不易察覺的效能衰退。

這在傳統軟體工程中是個早已被解決的問題：我們用單元測試、整合測試來確保程式碼的修改不會破壞既有功能。但在 AI 系統中，尤其是在處理自然語言的模糊地帶時，建立類似的「防護網」卻格外困難。Chip Huyen 在其著作《Designing Machine Learning Systems》中，花費了整整兩個章節的篇幅來探討評估方法論，正是因為這是 AI 系統工程中最脆弱、也最常被忽視的一環。

如果沒有一套穩固的評估框架，團隊的每一次「優化」都可能是一場賭博。我們可能在解決 A 問題的同時，悄悄地讓 B 問題變得更糟。幾輪迭代下來，整個系統可能只是在原地踏步，甚至緩慢退化，而團隊成員卻因為零星的正面回饋而自我感覺良好。

評估方法的兩難：速度、成本與品質

建立評估紀律的首要挑戰，是在評估方法的選擇上取得平衡。一般而言，我們可以將評估方式分為兩大類，它們各自在速度、成本與品質上存在著不同的取捨：

• 自動化客觀指標：這類方法透過演算法來計算模型輸出與參考答案之間的相似度。例如，在翻譯或摘要任務中常用的 BLEU 或 ROUGE 分數。它們的優點是速度快、成本低、可完全自動化，非常適合在開發流程中進行快速的回歸測試。然而，它們的缺點也很明顯：這些基於字詞重疊率的指標，往往難以捕捉語意的準確性、流暢度或創造性，有時會出現「高分低能」的窘境。
• 真人主觀評估：這是評估品質的黃金標準。透過 A/B 測試或請人類評分員直接對模型輸出進行評分，我們可以得到最貼近使用者真實感受的回饋。但這個方法的代價極高，不僅耗時、昂貴，且難以規模化。此外，人類評分員之間也可能存在主觀差異，需要設計嚴謹的評分指南（guideline）來確保一致性。

沒有評估，就沒有工程，只有實驗。

如何建立一套可規模化的評估框架？

一個務實且有效的評估框架，應該是結合自動化與真人智慧的混合體，並善用 AI 本身的能力。建立這樣的框架，可以從以下幾個方向著手：

首先，是建立一個高品質的「黃金標準」評估集（golden evaluation set）。這個資料集應該包含數百到數千筆具代表性的測試案例，涵蓋常見使用情境、邊界條件（edge cases）以及過去曾發生過錯誤的案例。這個評估集是我們衡量所有改動的基準線，每一次提交程式碼或調整 prompt，都應該在這個集合上運行一次自動化評估，確保關鍵指標沒有下降。

其次，是引入「以 LLM 為評審」（LLM-as-a-Judge）的策略。與其完全依賴昂貴的人工評估，我們可以利用更強大的模型（如 GPT-4）來扮演評審角色，根據我們設定的標準（例如，回答是否準確、是否有害、風格是否一致）來評斷目標模型的輸出。來自史丹佛大學與 UC Berkeley 的研究顯示，使用 GPT-4 作為評審，其判斷結果與人類評分員的一致性可達到 80% 以上。Google 內部也開發了類似的 AutoSxS 工具，大規模地用模型來輔助評估模型。這大幅降低了評估成本，讓我們能以接近自動化測試的速度，獲得近似人類判斷的品質回饋。

最後，是將評估流程工具化與系統化。例如，OpenAI 開源的 Evals 框架就是一個很好的起點，它幫助開發者建立標準化的評估流程。將評估腳本整合到 CI/CD 流程中，讓每一次改動的效能變化都一目了然。當評估成為一種自動化、常態化的紀律，而非偶一為之的人工抽查時，團隊才能真正擺脫「感覺良好」的陷阱，做出由數據驅動的決策。

從主觀感覺走向客觀驗證，是 LLM 應用開發從手工作坊走向工業化生產的必經之路。這條路並不容易，需要投入時間與資源來建立基礎設施，但唯有如此，我們才能打造出真正穩定、可靠且能持續進步的 AI 系統。

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。