AI 開發的下一戰場：為什麼我們該談論的不是 Prompt，而是 Harness Engineering？

當大型語言模型寫程式的能力從驚喜變為日常，開發者的核心任務也正悄然位移。過去我們執著於如何下達完美的指令（Prompt），如今的決勝點卻在於如何建立一個能自動驗證、修正、甚至回絕 AI 產出的強固框架（Harness）。這不僅是工具的演進，更是軟體工程與可靠性架構的根本轉變。真正決定價值的，不再是模型本身，而是我們為其打造的信任邊界。

「AI 會寫程式」之後，人類開發者還剩下什麼？

大約自 2023 年以來，AI 輔助編程工具的普及，讓開發流程發生了質變。在我和 AI 協作開發數理框架「BpVM」的過程中，我深刻體會到，開發者的關注點已經從「如何讓 AI 寫出我想要的程式碼」，迅速轉向「如何信任 AI 寫出來的程式碼」。這個轉變標誌著我們進入了 AI 開發的第三階段。

第一階段是「提示詞工程」（Prompt Engineering），我們專注於優化輸入的文字，誘導模型產出期望的結果。第二階段是「脈絡工程」（Context Engineering），重點在於如何有效地為模型提供相關的背景知識，例如透過 RAG（Retrieval-Augmented Generation） 技術。而現在，我們正踏入第三階段：「Harness Engineering」。當模型能力逐漸商品化，大家都能輕易取得強大的基礎模型時，真正的差異化競爭，來自於你為這個模型打造了多麼可靠的外部執行與驗證環境。

Harness Engineering 究竟是什麼？它如何重新定義 AI Agent？

「Harness」一詞，原意是馬具或安全帶，引申為一種用於控制、引導與確保安全的框架。在 AI 開發的脈絡下，Harness 指的是圍繞著語言模型的一整套執行環境、驗證迴圈與品質邊界。它負責的不是生成內容，而是確保生成內容的品質、安全性與可靠性。

這個概念讓我們得以重新定義什麼是「AI Agent」。過去，我們常將 Agent 與 Model 劃上等號，但一個更精確、更具實務意義的觀點是：

Agent = Model + Harness

模型（Model）是那個充滿潛力但也可能不穩定的「大腦」，而框架（Harness）則是賦予它紀律、使其行為可預測的「骨骼與神經系統」。一個沒有 Harness 的強大模型，就像一個天賦異稟但不受控的天才，難以在要求嚴謹的生產環境中被委以重任。反之，一個能力中等的模型，若搭配設計精良的 Harness，其整體的可靠性與實用性，可能遠勝前者。這也呼應了 Google 在其經典的 《Rules of Machine Learning》中所強調的：優先部署簡單、可靠的系統，再逐步迭代。

Harness 如何建立信任迴圈？探索其三大支柱

一個有效的 Harness 應該具備三大核心功能，共同構成一個自動化的信任與修正迴圈。這不僅是技術選擇，更是一種架構思維的體現。

• 驗證（Validation）：這是 Harness 的第一道防線。AI 產出的任何程式碼、設定檔或 API 呼叫，都必須通過一系列自動化檢查。這可以包括單元測試、整合測試、靜態程式碼分析、型別檢查，甚至是針對特定領域的語意正確性驗證。例如，EleutherAI 的 Evaluation Harness 便是專為評估模型能力而設計的驗證框架，同樣的理念可以應用於生產系統。
• 回饋與修正（Feedback & Correction）：當驗證失敗時，系統不能只是簡單地報錯。一個成熟的 Harness 需要能將失敗的資訊結構化，並反饋給模型，引導它進行自我修正。這形成了一個緊密的迭代迴圈，讓 AI 在錯誤中學習。史丹佛大學提出的 DSPy 框架，其核心思想就是將提示詞的優化過程程式化，讓模型可以根據驗證結果自動調整策略，正是此概念的具體實踐。
• 邊界與回滾（Boundaries & Rollback）：沒有任何系統是完美的。Harness 必須定義清楚的「品質邊界」。例如，如果模型在 3 次修正後仍無法通過驗證，就應停止嘗試，並將問題升級給人類開發者。同時，系統必須具備安全的回滾機制，確保任何由 AI 引入的、未通過驗證的變更，都不會影響到生產環境的穩定性。這與傳統 SRE（Site Reliability Engineering） 的核心原則不謀而合。

如何開始實踐 Harness Engineering？

Harness Engineering 聽起來很宏大，但它並非遙不可及。我們可以從一些小地方開始，逐步為我們的 AI 應用建立信任。最簡單的起點，就是不要再直接裸調用模型的 API，而是將其包裹在一個函式或服務中，並在該服務內加入最基本的輸入驗證與輸出格式檢查。

隨著需求的複雜化，我們可以逐步加入單元測試、語意檢查，甚至引入更複雜的修正迴圈。關鍵在於思維的轉變：我們的工作不再是和模型「對話」，而是為它「立法」。我們設計的不是一次性的 Prompt，而是一個能夠長期自主運作、自我修正的系統。當模型的能力越來越像一種可隨時取用的公共資源時，這種圍繞著模型建立可靠性架構的能力，將成為開發者與團隊最核心的競爭力。正如許多關於自主 Agent 的研究所揭示的，真正的智慧不僅在於生成，更在於規劃、反思與修正的能力。

延伸閱讀

• AIがコードを書く時代に、人間は何を設計するのか
• DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
• Rules of Machine Learning: Best Practices for ML Engineering

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。