模型之外的決勝點：AI 系統的 Harness Engineering 思維

當大型語言模型的性能日益普及，我們很容易陷入追逐最新、最強模型的競賽中。然而，在建構複雜的 AI Agent 系統時，我觀察到一個更關鍵的決勝點：真正的挑戰與價值，已從模型本身轉移到其外圍的「駕馭系統」（Harness）。這套系統——包含記憶、工具、驗證與回饋迴路——如何被精密地工程化，共同塑造了模型的最終能力。這不僅是調校技巧，而是一個決定 AI 系統成敗的核心命題，也是拉開概念驗證（PoC）與可維運產品之間差距的關鍵。

為什麼頂尖模型依然會搞砸任務？

我們時常看到模型在 LMSys Chatbot Arena 這類排行榜上取得驚人成績，但在真實世界的應用場景，尤其是需要多步驟推理與執行能力的 Agent 任務中，即使是 GPT-4o 或 Claude 3.5 Sonnet 也可能表現得差強人意。它們可能會陷入無效的迴圈、誤用工具，或是在連續的失敗後迷失方向。這暴露了一個根本問題：純粹的「智能」（raw intelligence）如果沒有被妥善引導與約束，其價值將大打折扣。

模型就像一顆強大的引擎，但光有引擎無法構成一輛能抵達目的地的賽車。你需要底盤、傳動系統、煞車、懸吊以及一位能解讀儀表板的賽車手。在 AI 系統中，這整套賽車的框架與控制系統，就是所謂的「Harness Engineering」。它承認模型的內在能力有其極限，並將重點放在如何透過外部工程手段，來彌補模型的不足、放大其優勢，並確保其行為的穩定性與可靠性。

什麼是「Harness Engineering」？

Harness Engineering（我稱之為「駕馭工程」）是一個系統性的方法論，專注於設計、建構與優化圍繞在大型語言模型周圍的基礎設施與邏輯。它超越了單純的提示工程（Prompt Engineering），涵蓋了所有能影響模型輸出與行為的外部元件。根據 LangChain 在一篇深入的技術文章中分享的實踐，Harness Engineering 的核心要素至少包含以下幾個層面：

• 記憶（Memory）：設計短期與長期記憶機制，讓 Agent 能在多輪對話或多步驟任務中，有效追蹤上下文、學習經驗、避免重複犯錯。
• 工具（Tools）：提供一組定義清晰、功能強大且可靠的外部工具（如 API 呼叫、程式碼執行、資料庫查詢），並教會 Agent 何時、如何使用它們。這與 Tool-Augmented Language Models (TALM) 的研究方向不謀而合。
• 驗證與反思（Validation & Reflection）：建立讓 Agent 自我檢討與修正的機制。例如，在執行一個複雜計畫前，先讓 Agent 模擬執行結果或對計畫進行批判性評估，從而提前發現潛在問題。
• 回饋迴路（Feedback Loops）：整合來自人類監督者或自動化測試的回饋，不僅用於單次任務的修正，更能持續優化 Agent 的核心策略與提示。
• 運行環境（Runtime Environment）：確保 Agent 在一個穩定、安全的環境中執行，並能有效管理資源與處理異常情況。

這些元素共同構成了一個「Harness」，將模型的原始能力「駕馭」到我們期望的軌道上，使其能夠更精準、可靠地完成任務。

LangChain 如何透過 Harness Engineering 攻克 SWE-bench？

理論需要實證，LangChain 的案例完美展示了 Harness Engineering 的威力。他們挑戰了 SWE-bench，這是一個極具挑戰性的基準測試，要求 Agent 解決真實世界中 GitHub 上的軟體工程問題。許多頂尖團隊在此折戟，因為它不僅考驗程式碼生成能力，更考驗問題理解、檔案系統操作、除錯等綜合能力。

LangChain 團隊的策略非常清晰：固定使用 GPT-4 模型，將所有優化心力全部投入到 Harness 的改造上。首先，他們利用 LangSmith 這樣的可觀測性工具，深入分析 Agent 的失敗模式，發現 Agent 經常在檔案編輯、指令執行等環節出錯。接著，他們進行了一系列精密的「駕馭工程」改造：

1. 優化提示框架：他們不只修改單一提示，而是設計了一套「憲法」（Constitution），為 Agent 的行為設定高層次的原則與指導方針，確保其行為一致性。
2. 引入反思機制：在 Agent 產出行動計畫後，強制進入一個「反思」步驟，讓模型以批判者的角度審視自己的計畫，找出潛在的缺陷並加以修正。
3. 強化工具的穩健性：他們重寫了檔案系統的編輯工具，使其更能應對複雜或邊界情況，降低了 Agent 因為工具脆弱而導致的失敗率。

整個實驗最關鍵的結論是：在完全不更換底層模型的情況下，僅僅透過優化駕馭系統，就實現了性能的巨大飛躍。

成果是驚人的。根據他們在 2024 年 2 月發布的結果，其 Agent 在 SWE-bench 上的問題解決率從 4.3% 提升至 8.5%，成長超過一倍。這一成績使其在當時的公開排行榜上名列前五。這個案例有力地證明，當模型能力達到瓶頸時，真正的成長空間來自於模型之外的系統工程。

為什麼 AI 系統的思維需要從「模型為中心」轉向「系統為中心」？

LangChain 的實踐，呼應了 AI 應用開發領域一個重要的思維轉變：從「模型為中心」（Model-centric）轉向「系統為中心」（System-centric）。當基礎模型（Foundation Models）的能力越來越強大，取得頂尖模型的管道也越來越普及時，單純依賴模型本身已經無法構築起真正的技術護城河。

真正的競爭優勢，在於你為特定任務所打造的那套獨一無二的「Harness」。這套系統是專有的、與業務邏輯深度綁定的，並且能透過持續的數據與回饋進行迭代，形成正向循環。無論是 檢索增強生成（RAG）系統的檢索與排序策略，還是複雜 Agent 的工具集與反思迴路，這些都是 Harness Engineering 的具體體現。

對於 AI 系統的建構者而言，我們的焦點不應僅僅是「哪個模型比較強」，而應該是「如何設計一個最好的系統來駕馭這個模型」。因為最終，決定一個 AI 產品能否在市場上勝出的，往往不是它用了多新的模型，而是它的系統有多穩定、多可靠、多能解決實際問題。

延伸閱讀

• Improving our SWE-bench agent with harness engineering (LangChain Blog)
• SWE-bench: Can Language Models Solve Real-World Software Engineering Problems? (arXiv)
• SWE-bench Leaderboard

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。