AI 系統的價值轉移：為何模型外殼比權重本身更重要
AI 模型的真實能力，往往被其「外殼」——也就是測試與互動框架——所掩蓋。史丹佛與 MIT 的最新研究揭露，同一模型在不同框架下，性能竟能相差六倍。這不僅顛覆了我們對模型評測的認知，更預示著 AI 系統的價值重心，正從底層權重轉移至上層的系統設計。究竟這個「外殼」扮演了什麼關鍵角色？本文將深入探討。
我們習慣用排行榜來評斷模型優劣，但史丹佛與 MIT 的一篇新研究，卻對這個慣例提出根本質疑。研究發現，同一個大型語言模型，僅因測試框架（harness）不同，在基準測試上的表現竟能出現高達六倍的差距。這不再只是評測方法的技術細節，而是一個重要的產業訊號：AI 系統的真正價值，正從模型權重本身，快速轉移到其外圍的「系統外殼」——包括工具調用、上下文策略與執行框架。理解並掌握這個外殼，遠比單純追求 SOTA 模型更為關鍵。
為什麼一個模型，會有六倍的性能差距？
長期以來，我們評估大型語言模型（LLM）的能力，高度依賴 HumanEval 或 MMLU 這類的標準化基準測試。然而，史丹佛與 MIT 在 2024 年 5 月發表的一篇開創性論文《Harnessing the Power of Large Language Models: A Study on the Impact of Model Harnesses》中，揭示了一個被長期忽略的關鍵變數：測試框架（Test Harness）。
所謂的「Harness」，並非模型本身，而是我們用來與模型互動、引導其解決問題的一整套程式碼與策略。它定義了如何向模型提問、如何提供上下文、是否允許模型使用外部工具，以及如何解析模型的輸出。這項史丹佛與 MIT 的研究（Harnessing the Power of Large Language Models: A Study on the Impact of Model Harnesses）發現，在程式碼生成任務的基準測試 HumanEval-X 上，僅僅是改變 Harness 的設計，同一個模型的表現分數可以產生高達 6 倍的驚人落差。這意味著，我們在排行榜上看到的單一分數，可能嚴重誤導了我們對模型真實能力的判斷。
這項發現的重要性在於，它將我們的注意力從「哪個模型的權重更強」，轉移到「哪種系統架構能更好地釋放模型潛力」。
這個現象說明，一個模型的性能天花板，很大程度上是由其運行的「外殼」所決定的。當我們討論一個 AI 應用是否有效時，底層模型（例如 GPT-4o 或 Llama 3）固然是基礎，但真正產生差異化價值的，往往是這個看不見的「系統外殼」。
Harness 如何決定模型潛能的天花板？
這個「外殼」或稱 Harness，並非單一技術，而是一個複合的系統設計。它至少包含了幾個關鍵層面，這些層面的組合與調校，共同決定了模型的最終表現：
首先是**指令工程 (Prompt Engineering)**。如何精準、無歧義地向模型下達指令，是釋放其潛能的第一步。同樣一個任務，不同的提問方式可能導向截然不同的結果，例如採用思維鏈（Chain-of-Thought）提示就能顯著提升複雜推理能力。
其次是**上下文管理 (Context Management)**。這關乎如何有效地為模型準備與任務相關的資訊，確保它在正確的基礎上進行決策。這包括檢索增強生成（RAG）的策略、上下文視窗的滑動與摘要，以及記憶模組的設計。
再者是**工具調用 (Tool Invocation)**。賦予模型超越其內建知識的能力至關重要。透過給予模型如程式碼解釋器、計算機、API 查詢等工具，能讓它解決原本無法處理的數學、即時資訊或特定領域問題。
最後是**執行策略 (Execution Strategy)**，即模型解決問題的步驟與流程。例如，採用像 ReAct (Reasoning and Acting) 這樣的框架，讓模型能夠在「思考」與「行動」之間迭代，或建立自我修正（Self-Correction）的循環，都能大幅提升任務成功率。
市面上許多 AI 開發框架，如 LangChain 或 LlamaIndex，其核心價值正是提供了一套預先構建好、模組化的 Harness。開發者不再需要從零開始打造整個互動系統，而是可以專注於組合這些元件，快速搭建出強大的應用。這也從側面印證了，AI 系統的價值越來越多地體現在這層「系統外殼」的設計與整合上。
當框架也能自動優化，我們該關注什麼？
前述史丹佛與 MIT 的研究（Harnessing the Power of Large Language Models: A Study on the Impact of Model Harnesses）最耐人尋味的部分，是他們不僅指出了問題，還提出了一個頗具未來感的解決方案：Meta-Harness。這是一個代理（Agentic）系統，其任務就是「自動編寫和優化 Harness 程式碼」，目標是為給定的模型在特定基準測試上取得最高分。
Meta-Harness 的出現，將 Harness 工程本身變成了一個可以由 AI 解決的優化問題。這代表未來 AI 系統的開發，可能會從手動設計互動框架，演變成定義目標、然後由一個「元 AI」來自動尋找最佳的系統架構。這徹底改變了開發者的角色——從一個「工匠」，變成一個「目標設定者」與「系統監督者」。
這對我們意味著，產業的焦點需要再次轉移。過去幾年，我們痴迷於基礎模型的規模與參數競賽。現在，這項研究提醒我們，真正的戰場正在轉向更高層次的「認知架構」（Cognitive Architecture）。如何設計一個能讓模型更聰明地思考、更有效地使用工具、更靈活地適應任務的系統，將是下一階段的核心競爭力。模型的權重提供了潛力，但真正將潛力轉化為價值的，是它外層的智慧系統。
當我們下次看到一個驚人的展示或一個亮眼的評測分數時，或許該問的第一個問題不再是「它用的是哪個模型？」，而是「它的系統外殼是如何設計的？」。因為答案，很可能就藏在那裡。
延伸閱讀
- Harnessing the Power of Large Language Models: A Study on the Impact of Model Harnesses (原論文)
- LLM-powered Autonomous Agents (Lilian Weng 對 AI Agent 架構的深度剖析)
- ReAct: Synergizing Reasoning and Acting in Language Models (ReAct 框架的原始論文)
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。