別再迷信 Prompt Engineering：穩定放大 AI 產能的關鍵是「馬具工程」

當前 AI 開發社群普遍將焦點放在 Prompt Engineering，試圖透過精巧指令讓大型語言模型（LLM）產出預期結果。然而，這種高度依賴「請求」的模式，本質上不穩定且難以規模化。我認為，要將 AI 從有趣的工具轉變為可靠生產力，關鍵在於為其打造強健的外部系統。這個概念在日本 AI 圈被稱為「馬具工程」（Harness Engineering），其核心思想是：與其要求馬兒跑得更直，不如為牠套上馬具。能穩定放大 AI 產能的，終究是系統，而非單純的咒語。

為什麼光靠「詠唱」還不夠？

我們都有過類似的經驗：一個昨天還運作得很好的 Prompt，今天在模型更新後，產出就變得面目全非。或者，即使是同一個 Prompt，在面對稍微不同的輸入時，也可能產生天差地遠的結果。這種現象，根源於 LLM 的隨機性與黑箱本質。無論我們如何優化 Prompt，都像是在與一個充滿才華但情緒不定的藝術家溝通，成果難以完全預測與控制。

在需要大規模、高穩定性輸出的商業應用中，這種不確定性是致命的。想像一個自動處理客戶服務郵件的系統，若因 Prompt 微小失誤而給出錯誤的退款承諾，後果將不堪設想。

單純依賴 Prompt Engineering，就像試圖在流沙上建造摩天大樓，基礎並不穩固。我們需要的是一套更結構化、更具防禦性的方法，來駕馭這股強大卻狂野的 AI 力量。

什麼是「馬具工程」？為何 AI 需要它？

「馬具工程」（Harness Engineering）這個詞彙，近年來在日本 AI 開發者社群中逐漸受到關注。這個比喻非常貼切：馬具（Harness）並非用來削弱馬匹的力量，相反地，它是為了引導與集中馬的全部力量，使其能安全、高效地朝指定方向前進。應用在 AI 系統上，馬具工程指的便是在 LLM 核心之外，建構一套完整的外部約束、驗證與流程管理系統。

這套「馬具」系統的建構，通常會整合多個關鍵元件，共同為 AI 系統提供穩定性與可控性：

• 輸入結構化與前處理：在將用戶請求送入 LLM 之前，先透過程式將其轉換為標準化的格式，例如 JSON 或 XML。這能大幅減少模型因理解模糊或歧義而產生的錯誤。
• 輸出驗證與解析：要求模型產出特定格式（如 JSON Schema）的內容，並在收到後立刻進行驗證。若格式錯誤或內容不符規範，系統可以自動重試，或觸發備用方案。像 Instructor 這類的工具，就是此類實踐的絕佳範例。
• 流程管理與分步執行：將一個複雜的任務拆解成多個小步驟，每個步驟都由一個專門的 AI Agent 負責，並在每步之間進行嚴格的檢查。這種類似於多代理人（Multi-agent）協作的架構，能顯著提升任務的成功率與可靠性。
• 外部知識庫與工具整合：允許 AI 在需要時呼叫外部 API、查詢資料庫或執行程式碼，而非僅僅依賴其內部知識。這不僅能確保資訊的即時性與準確性，也擴展了 AI 的能力邊界。

透過這些外部機制的組合，我們不再是單純地「請求」AI 完成任務，而是在一個設計好的框架內，「指揮」AI 執行特定工作。

我們的目標不該是訓練一個更聽話的模型，而是設計一個對不聽話的模型有足夠韌性的系統。

如何打造一個有效的 AI 馬具系統？

建構一個有效的馬具系統，需要將思維從「模型中心」轉向「系統中心」。與其花費數週時間微調一個完美的 Prompt，不如將精力投入到設計一個能容忍不完美產出的強健流程中。

一個實際的作法是，為每個 AI 任務設定明確的「服務等級協議」（SLA）。例如，一個自動生成報告的系統，我們可以設定其產出格式的驗證通過率必須達到 99.5% 以上。

為達成此目標，我們可以設計一個包含「生成-驗證-修正」的循環流程。當 GPT-4o 或 Claude 3.5 Sonnet 的初次產出未能通過 JSON Schema 驗證時，系統會自動將錯誤訊息連同原始請求再次提交給模型，並明確指示其修正錯誤。這個重試過程可以設定上限，例如最多 3 次，若仍失敗則轉交人工處理。

這種系統化的方法，其價值在於可測量、可迭代。我們可以透過 A/B 測試來比較不同「馬具」設計的成效，持續優化系統的穩定性與效率。這也正是史丹佛大學 HELM 等評測框架所倡導的，對 AI 系統進行多維度、標準化評估的精神。

總結來說，Prompt Engineering 固然有其價值，但它更像是戰術層面的技巧。當我們需要建構企業級、可信賴的 AI 應用時，戰略重心必須轉移到 Harness Engineering。唯有透過精良的系統設計，我們才能真正釋放大型語言模型潛藏的巨大產能，讓它從一個充滿驚喜的魔法盒，轉變為驅動未來生產力的可靠引擎。

延伸閱讀

• NVIDIA NeMo Guardrails：一個用於建立 LLM 對話系統可程式化護欄的開源工具包。
• AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation：微軟研究院關於多代理人協作框架的論文。
• Holistic Evaluation of Language Models (HELM)：史丹佛大學提出的一個全面評估語言模型的框架。
• Instructor：一個幫助你從 LLM 獲得結構化輸出的 Python 函式庫。

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。