Agent 評估的迷思：為何我們該衡量「技能」而非「總分」

當 AI Agent 系統日益複雜，傳統僅以單一總分或成功率來評估其表現的方式，已逐漸成為發展瓶頸。本文主張，我們應將 Agent 視為由多個可重用技能模組構成的系統，並著重於量化每個技能模組對特定任務的邊際貢獻。透過這種「技能級」的精準評估，我們不僅能更有效地除錯、優化，更能為 Agent 系統的持續演進與建立可信賴的治理框架奠定堅實基礎，從而實現更科學、更可控的 AI 發展路徑。

為什麼單一總分會誤導我們？

單一的成功率分數，就像是只看一輛車的最高時速，卻忽略了其煞車性能、燃油效率和轉向穩定性。當一個 Agent 在某個任務上失敗時，一個 75% 的總分無法告訴我們問題出在哪裡：是它的規劃能力不足？是它使用的某個 API tool 不可靠？還是它在理解用戶意圖時產生了偏差？例如在 GAIA 這類高難度 benchmark 上的得分，也僅是整體表現的縮影。

這種黑盒式的評估方式，讓除錯與優化變得極其低效。團隊只能依靠猜測和大量的試錯來調整系統，而無法針對性地改進特定弱點。

更嚴重的是，當我們想將一個在任務 A 表現良好的 Agent 的某個能力應用到任務 B 時，卻完全無法預測其表現。我們無從得知是哪個具體的「技能」促成了它在任務 A 的成功，這個技能是否具備泛化能力也成了未知數。

這種評估方式的侷限，在系統變得越來越複雜時尤其致命。一個由數十個可組合技能（skills）和策略（policies）構成的 Agent，其最終表現是這些模組複雜互動的結果。若只看最終輸出，我們就喪失了對系統內部行為的洞察力與控制力。

如何量化一個「技能」的邊際貢獻？

要擺脫總體評估的困境，我們需要將視角從「評估 Agent」轉向「評估技能」。近期一篇名為《Evaluating Skills, Not Just Agents》的論文（arXiv:2608.20614）提出了一個名為 ACES（Agentic Continuous Evaluation of Skills）的框架，其核心思想非常直觀：將技能視為可獨立啟用或禁用的模組，並透過對比實驗來量化其價值。

這個概念被稱為「Skill Lift」（技能提升度）。計算方式是針對同一組任務，分別運行「包含特定技能」與「不包含特定技能」的 Agent 版本，然後比較兩者在成功率、效率或可靠性等指標上的差異。這個差異，就是該技能對這組任務的邊際貢獻。

舉例來說，假設我們開發了一個複雜的「數據分析師 Agent」，它內建了一個名為 `advanced_charting` 的技能。為了評估這個技能的價值，我們可以：

1. 準備 100 個需要生成複雜圖表的數據分析任務。
2. 運行完整版 Agent，記錄其成功率，假設為 85%。
3. 運行禁用 `advanced_charting` 技能的 Agent（它只能使用基礎的繪圖功能），記錄其成功率，假設為 55%。
4. 那麼，`advanced_charting` 技能在這些任務上的「Skill Lift」就是 30 個百分點。

這個數字不僅具體，而且可操作。它告訴我們，`advanced_charting` 是一個高價值的技能，值得我們持續維護與優化。反之，如果一個技能的 Skill Lift 趨近於零，或甚至為負，我們就該考慮重構或移除它。

技能評估如何引領 Agent 治理？

將 Agent 拆解為技能模組並量化其貢獻，其意義遠不止於優化開發流程。這實際上為我們建立一個強大的「Agent 治理框架」奠定了基礎。當每個技能的邊際貢獻都變得清晰可見時，我們就獲得了前所未有的洞察力與控制力。

一個無法被拆解和度量的系統，是一個無法被有效治理的系統。技能的模組化與量化評估，是從「煉丹」走向「工程」的關鍵一步。

這種模式讓我們能夠：

• 精準歸因： 當系統出錯時，我們可以更快地追溯到是哪個技能模組的失敗或不當使用導致了問題。這對於金融、醫療等高風險領域的應用至關重要。
• 建立信任： 我們可以對特定技能進行獨立的安全審計與合規性檢查。例如，一個處理個人身份資訊（PII）的技能，可以被施加更嚴格的存取控制與日誌記錄策略。
• 可預測的組合： 當我們用經過充分評估、性能可預測的技能來構建新 Agent 時，整個系統的行為會變得更加穩定。這就像使用經過嚴格測試的函式庫來開發軟體，而非每次都從頭造輪子。這與 Toolformer 等研究中將工具視為可調用 API 的思想一脈相承。
• 量化 ROI： 開發每個新技能的成本是可估算的，而它的 Skill Lift 則是其價值的直接體現。這使得團隊可以做出更明智的技術投資決策。

當然，這種評估方式也帶來了新的挑戰。定義「技能」的邊界、設計有效的對比實驗、以及在複雜任務中隔離單一技能的影響，都需要精心的設計。但相較於停留在單一總分的迷霧中，這條路徑無疑更具前景。正如 AgentBench 等綜合性評估基準的出現，標誌著社群對 Agent 能力評估的日益重視，我認為下一步的演進，必然是朝向更細粒度、更具解釋性的技能級評估。

總結來說，從評估 Agent 的「總分」轉向評估其內部「技能」的邊際貢獻，不僅是一種技術方法的轉變，更是一種思維模式的升級。它讓我們得以更科學地理解、改進和治理日益複雜的 AI Agent 系統，為打造真正可信賴、可持續演進的智能體鋪平了道路。

延伸閱讀

• AgentBench: Evaluating LLMs as Agents
• Toolformer: Language Models Can Teach Themselves to Use Tools
• GAIA: a benchmark for General AI Assistants

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。