從單點測試到系統級 QA：如何有效評估複雜 AI Agent

隨著 AI Agent 從執行單一指令的工具，演化為能夠自主規劃、使用多種工具、並與外部環境互動的複雜系統，我們的評估方法也必須跟上。若仍停留在傳統的單點、靜態基準測試，將無可避免地陷入「修復 A、卻損壞 B」的局部最佳化循環。我的觀點是，評估框架的複雜度必須與 Agent 系統的複雜度對等。唯有建立系統級的品質保證（QA）思維，才能在將這些強大系統部署到生產環境前，真正建立信心，確保其行為的穩健與可預測性。

為什麼傳統評估方法對 AI Agent 已然失效？

過去，我們評估語言模型（LLM）的表現相對單純：給定一個輸入（prompt），評估其輸出（completion）的品質。這是一個相對封閉且無狀態（stateless）的過程。然而，現代 AI Agent 的運作模式已徹底改變。一個 Agent 可能需要執行一連串的思考與行動：

• 步驟 1： 解讀使用者的高層次目標。
• 步驟 2： 查詢內部資料庫取得初步資訊。
• 步驟 3： 呼叫外部 API 獲取即時數據。
• 步驟 4： 在程式碼沙盒中執行分析，並將結果寫入檔案。
• 步驟 5： 綜合所有資訊，生成最終報告。

在這個過程中，Agent 的每一步行動都會改變環境的狀態，而後續的決策又依賴於這個新狀態。這種具備長遠規劃（long-horizon task）與環境互動的特性，使得傳統的輸入/輸出評估模式完全失效。

正如 AgentBench 等研究所揭示的，評估 Agent 需要在互動式的環境中進行，單純的靜態問答已無法反映其真實能力。一個在單點測試中表現完美的工具使用功能，在複雜的任務鏈中，可能會因為無法處理前一個工具的異常輸出而完全崩潰。

我們該如何建立與系統複雜度對等的評估框架？

既然單點測試不可行，我們就必須建立一個多層次的評估框架，其複雜度要能匹配 Agent 系統本身。這個框架不應只關注最終結果，更要涵蓋過程中的每一步。根據 Anthropic 在工程部落格中分享的經驗，一個有效的評估策略應該是多種技術的組合。我認為可以將其歸納為三個層次：

1. 單元測試（Unit Tests）： 這是最基礎的層級，專注於測試 Agent 的最小可動單元。例如，驗證一個特定的工具呼叫是否能正確解析參數、一個 prompt 模板在邊界條件下是否能穩定生成預期格式的思考鏈。這能確保 Agent 的「零件」是好的，但無法保證「組裝」起來的系統能正常運作。
2. 整合測試（Integration Tests）： 這一層級測試的是幾個組件協作的小型工作流程。例如，Agent 能否成功地「先搜尋網路、再使用計算機工具進行加總」。這能捕捉到組件之間的介面問題，但仍侷限於短期的、可預測的互動。
3. 端到端模擬（End-to-End Simulation）： 這是系統級 QA 的核心。我們需要建構一個與真實世界高度相似的模擬環境（sandbox），讓 Agent 在其中獨立完成一個複雜的、需要多步驟才能解決的任務。例如，在一個模擬的程式碼庫中修復一個 issue，就像 SWE-bench 所做的那樣，它包含了超過 2,294 個真實世界的軟體工程問題。唯有在這種高擬真的環境下，我們才能觀察到那些意想不到的、由多個子系統交互作用產生的「湧現失敗」（emergent failures）。

如何設計有效的端到端（End-to-End）評估？

設計出色的端到端評估是確保 Agent 可靠性的關鍵。這不僅僅是設定一個目標讓 Agent 去達成，更需要細緻的規劃與自動化的基礎設施。我的觀察是，一個好的端到端評估應該具備以下幾個要素：

首先，成功標準必須是多維度的。最終答案的正確性只是其中之一。我們還需要評估：

• 效率： Agent 花了多少步驟、呼叫了多少次工具、消耗了多少 token 才完成任務？
• 成本： 整個過程的運算成本是多少？
• 穩健性： 當環境中出現預期外的錯誤（如 API 超時）時，Agent 是否具備重試或修正路徑的能力？

其次，評估過程需要高度自動化。對於複雜任務，人工逐一驗證既耗時又不可靠。我們需要開發「自動檢查器」（automated checkers），透過程式碼來驗證任務是否完成。例如，檢查檔案系統中是否生成了正確的檔案、資料庫中的數據是否被正確更新、或一段程式碼是否能通過所有單元測試。

我們的目標不再是驗證單一功能的「正確性」，而是評估整個系統在面對複雜任務時的「有效性」與「穩健性」。這包含了路徑效率、資源消耗與錯誤處理能力。

最後，評估案例應持續擴充，涵蓋真實世界中的邊界情況。如 Meta AI 推出的 GAIA 基準測試，其設計的任務對人類來說相對簡單，但對當今最強的 AI 系統（如使用工具的 GPT-4）卻極具挑戰性，成功率僅有 15%，這充分說明了真實世界任務的複雜性。持續從生產環境中收集失敗案例，並將其轉化為可重複執行的端到端評估場景，是彌補模擬環境與現實世界差距的唯一途徑。

總結來說，當我們開發的系統日益複雜，評估思維也必須從「測試」轉向「系統級品質保證」。放棄對單點指標的迷戀，轉而投資於能夠反映系統整體行為的端到端模擬評估，雖然前期成本較高，卻是打造出真正能夠在真實世界中穩定、可靠運作的 AI Agent 的必經之路。這不僅是工程上的最佳實踐，更是對使用者和社會的責任。

延伸閱讀

• Demystifying evals for AI agents (Anthropic Engineering)
• AgentBench: Evaluating LLMs as Agents (arXiv)
• SWE-bench: Can Language Models Solve Real-World Software Engineering Problems? (Official Site)
• GAIA: a benchmark for General AI Assistants (arXiv)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。