別再只看模型分數：評估 AI 產品的真正關鍵在於「系統」
AI 產品的價值不在於底層模型在排行榜上的分數，而在於整個系統的綜合表現。從 RAG、提示工程到成本與延遲，真正決定用戶體驗的是這些工程細節的總和。本文將探討為何我們需要超越模型評測，建立一套更全面的系統級評估框架，這才是打造成功 AI 產品的務實之路。
我們正處於一個對大型語言模型（LLM）能力極度著迷的時代，各種模型評測排行榜如雨後春筍般湧現，成為許多團隊選擇基礎模型的重要依據。然而，我認為這種單純比較模型「裸奔」分數的作法，正在讓我們嚴重高估模型、低估系統。一個真正能交付商業價值的 AI 產品，其成功與否從來不只取決於底層模型的強弱，而是整個端到端（End-to-End）服務系統的綜合表現。使用者面對的不是一個模型，而是一個被精心包裝過的工程化系統，這才是我們評估時應聚焦的核心。
模型排行榜，真的能代表一切嗎？
無可否認，像 LMSys Chatbot Arena Leaderboard 這類透過匿名、隨機配對讓使用者票選的平台，為我們提供了一個相對客觀的模型對話能力參考。它讓我們知道，在通用的開放式對話情境下，哪個模型可能表現得更像一個「聰明」的對手。然而，當我們將場景從通用聊天轉向特定領域的應用，例如客戶服務、內部知識庫問答時，這些排行榜分數的參考價值便會急遽下降。
原因很簡單：真實世界的應用，幾乎都不是讓模型「裸奔」上陣。一個典型的 AI 應用系統，至少包含了前端介面、後端服務、提示工程、檢索增強生成（RAG）模組、安全過濾器等多個環節。模型本身，只是這個複雜系統中的一個引擎零件。過度專注於引擎的馬力，卻忽略了傳動系統、輪胎、懸吊與煞車，是造不出一台好車的。
為什麼系統層面的評估如此重要？
當我們將視角從單一模型拉高到整個系統時，會發現許多過去被忽略的變數，才是決定使用者體驗與商業可行性的關鍵。這些變數彼此牽動，構成了一個複雜的權衡空間（trade-off space）。
以一個常見的 RAG 應用為例，系統的表現至少由以下幾個子系統決定：
- 檢索器（Retriever）的品質：這是整個系統的入口。如果檢索器從知識庫中找不到正確或相關的資訊，那麼即使用了最強大的 GPT-4o，也無法憑空捏造出正確答案。正如史丹佛大學研究指出的 「迷失在中間」（Lost in the Middle） 現象，即使上下文（context）中包含了答案，若放在長篇資訊的中間，模型的回答準確率也會顯著下降。檢索器的精準度與召回率，直接決定了模型回答品質的天花板。
- 生成器（Generator）與提示設計：這部分雖然與模型直接相關，但「如何使用」模型遠比模型本身的分數更重要。一個設計精良的系統提示（System Prompt）可以有效地約束模型的行為，使其專注於給定資料、維持特定語氣，並在資訊不足時誠實地回答「我不知道」，而非產生幻覺。
- 端到端延遲與成本：使用者體驗對延遲極為敏感。根據尼爾森諾曼集團（Nielsen Norman Group）的經典研究，互動延遲一旦超過 1-2 秒，使用者的心流（flow）就會被打斷。一個使用了複雜 RAG 流程與最強模型的系統，若每次回答都需要 10 秒，其體驗可能遠不如一個使用輕量模型、在 2 秒內給出 80 分答案的系統。同樣地，每次互動的 API 成本也是決定產品能否規模化的商業命脈。
使用者體驗的瓶頸，往往不在模型本身，而在於系統中最弱的那個環節——可能是緩慢的資料庫查詢，也可能是不精準的語意檢索。
如何建立有效的系統級評估框架？
既然單純的模型評測不可靠，我們該如何建立一個更全面的評估框架？這意味著我們需要從「模型為中心」轉向「任務為中心」，設計一套能夠衡量整個系統在特定任務上表現的指標。
近年來，社群也意識到這個問題的重要性，並發展出一些專為評估 RAG 等複合系統的框架。例如 RAGAs 和 DeepEval 等開源工具，它們不再只看最終答案的品質，而是將評估拆解到系統的各個環節。加州大學柏克萊分校的研究團隊更在他們的 ARES 論文中提出，可以利用強模型作為評審，自動化地對 RAG 系統的回答進行多維度評分，大幅降低了人工評估的成本。
一個務實的系統級評估框架，我認為至少應該包含以下幾個維度：
- 檢索品質（Retrieval Quality）：檢索出的文件與使用者問題的相關性有多高？
- 生成忠實度（Generation Faithfulness）：模型生成的答案是否忠於提供的上下文，還是產生了幻覺？
- 答案相關性（Answer Relevance）：最終答案是否直接回應了使用者的問題？
- 端到端延遲（End-to-End Latency）：從收到請求到回傳最後一個 token 的總時間。
- 單位成本（Cost per Query）：處理單次查詢的總運算與 API 費用。
- 失敗模式處理（Failure Mode Handling）：當系統無法回答時，它的反應是承認不知，還是胡亂猜測？
將這些指標納入 A/B 測試或離線評估流程，我們才能真正理解一個架構改動（例如更換向量資料庫、調整 embedding 模型、修改提示詞）對整個產品的實際影響。這不僅是技術問題，更是產品管理的核心。打造成功的 AI 產品，是一門系統工程的藝術，而不僅僅是選擇最強模型的競賽。當我們開始用系統工程的視角來衡量、迭代我們的 AI 產品時，才算真正走在了一條務實且可持續的道路上。
延伸閱讀
- 生成AIチャットボットの評価を「モデル評価」から「システム評価」へシフトする (原文為日文，是本文的靈感來源之一)
- ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems (UC Berkeley 的自動化 RAG 評估框架論文)
- Lost in the Middle: How Language Models Use Long Contexts (關於長文本下模型注意力問題的經典研究)
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。