提示詞工程的黃昏？不，是 AI 執行環境的黎明

過去一年多，我們見證了大型語言模型（LLM）的驚人崛起，而「提示詞工程」（Prompt Engineering）也隨之成為顯學。然而，我認為這個領域的價值正在迅速遞減。當模型本身的能力趨於平緩後，決定 AI 應用成敗的關鍵，將不再是提示詞寫得多精巧，而是其運行的「執行環境」（Runtime Architecture）設計得多穩固。真正的競爭優勢，來自於我們為 AI 打造的腳手架（scaffolding）：包含工具鏈、記憶、狀態管理與驗證迴路。這是一場從「對話藝術」到「系統工程」的典範轉移。

為什麼單純的「提示詞工程」不再是致勝關鍵？

提示詞工程並未死去，但它已經從舞台中央退位，成為整個 AI 系統中的一個環節。原因很簡單：AI 的任務正在從「回答問題」演變為「完成工作」。當一個模型只需要生成一段文字時，提示詞是主要的控制手段。但當我們要求模型執行一系列動作——例如讀取文件、呼叫 API、更新資料庫——單一的提示詞就顯得力不從心了。

自從 OpenAI 在 2023 年 6 月推出 Function Calling 功能後，業界的方向就已經很明確：模型不再只是個語言產生器，而是個能夠理解意圖、並使用外部工具的「推理引擎」（reasoning engine）。這意味著，過去那種試圖將所有邏輯、背景資料、輸出格式都塞進一個巨大提示詞的作法，不僅效率低落，也極其脆弱。模型的任務是思考「做什麼」（what）與「如何做」（how），而執行的細節、權限的控管、錯誤的處理，都應該由提示詞之外的結構來承擔。

我們正在見證控制重心的轉移：從模型內部（In-Context）轉向模型外部（Out-of-Context）。過去我們專注於如何「告訴」模型，現在的重點是如何「駕馭」模型。

Harness：決定 AI 實作成敗的執行環境

我將這個駕馭模型的外部結構稱為「Harness」（可譯為「輓具」或「約束框架」）。它是一個圍繞著模型核心，為其提供支援、引導與限制的系統。一個設計精良的 Harness，遠比一個華麗的提示詞更能決定專案的成敗。它通常包含以下幾個關鍵組件：

• 範疇與合約（Scope & Contracts）：明確定義 AI 能做什麼、不能做什麼，以及它與外部工具互動的規則。這就像是為 AI 設定了清晰的職責範圍與 API 規格。
• 記憶與狀態管理（Memory & State）：讓 AI 能夠在多輪互動、甚至跨越不同工作階段中，持續追蹤上下文與狀態。這超越了單純的對話歷史，而是結構化的長期記憶，正如 Transformer-XL 等架構早期探索的記憶機制概念。
• 工具與技能（Tools & Skills）：提供一組穩定、可靠的外部函式庫供 AI 調用。這些工具是 AI 與真實世界互動的橋樑，其設計的良窳直接影響 AI 的能力上限。
• 驗證與回復（Validation & Rollback）：建立一套機制來檢查 AI 的輸出或行為是否符合預期、是否安全。當發生錯誤時，系統必須具備回退到上一個穩定狀態的能力，這在生產環境中至關重要。

當模型能力達到像 GPT-4 或 Claude 3 Opus 這樣的水準後，模型之間的差異對多數應用來說已不再是瓶頸。真正的瓶頸在於 Harness 的成熟度。一個搭配著陽春 Harness 的頂尖模型，其表現可能遠不如一個搭配著精密 Harness 的次級模型。這正是為何像 LangChain v0.1.0 之後的版本，越來越強調生產環境的穩定性與可觀測性，而非僅僅是鏈式調用的靈活性。

聊天介面是 AI Agent 的未來，還是結構性限制？

談到 Harness，我們就無法迴避一個更根本的問題：這個複雜的執行環境，應該被「放置」在哪裡？目前主流的聊天介面（Chat UI）是一個好的載體嗎？

我對此抱持懷疑。聊天介面在處理單輪或短期的問答任務時非常直觀，但它的「無狀態性」（statelessness）使其難以承載複雜的 Harness。每一次對話都是一次相對獨立的交易，缺乏一個持久的空間來存放狀態、掛載工具或管理權限。這也是為什麼許多複雜的 AI Agent 應用，最終都回歸到更傳統的開發者環境，例如 CLI（命令列介面）或直接整合在 IDE 之中。在這些環境裡，開發者可以輕易地透過檔案系統、環境變數、設定檔來建構一個穩定的 Harness。

這並非宣判聊天介面的死刑，而是指出其結構性限制。未來的 AI 互動介面，或許需要從根本上重新設計，才能容納日益複雜的 Agentic Workflow。我們需要一個既能提供聊天般流暢體驗，又能暴露底層 Harness 控制項的混合式介面。這方面的探索，例如 ReAct (Reason and Act) 框架所揭示的思維鏈與行動結合模式，為我們提供了初步線索，但距離成熟的產品化仍有很長的路要走。

總結來說，AI 應用的開發重心正在經歷一場深刻的轉變。與其繼續在提示詞的細枝末節上鑽研，我認為將精力投入到設計一個穩健、可擴展、可觀測的 Harness 上，才是更具長期價值的投資。因為當所有人都用著同樣強大的模型時，真正能拉開差距的，是你為這個模型打造的作戰系統。

延伸閱讀

• Synergizing Reasoning and Acting in Language Models (ReAct)
• Function calling and other API updates by OpenAI
• Holistic Evaluation of Language Models (HELM) by Stanford University
• プロンプトエンジニアリングの次：ハーネス設計という課題

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。