超越 Prompt Engineering：AI 效能的關鍵在於指令分層架構

許多人投入大量心力鑽研 Prompt Engineering，試圖寫出完美的指令，卻忽略了更根本的問題：這些指令應該放在哪裡？一個 AI 工具能否長期穩定、高效地運作，關鍵往往不在於單一提示的精巧，而在於其背後的指令分層架構。與其不斷堆疊 Prompt，我們更應該思考如何將指令策略性地分配到 system、rules、skills 或 memory 等不同層級。這種架構性思維，才是決定 AI 系統能否從單次驚艷走向常態可靠的分水嶺。

為什麼我們不該把所有指令都塞進 Prompt？

在開發 AI 應用時，最直覺的做法是將所有需求——背景知識、任務步驟、輸出格式、行為限制——全部寫進一個龐大的 Prompt 中。這種「單體式 Prompt」在初期測試時或許方便，但很快就會遇到瓶頸。首先是上下文視窗（Context Window）的物理限制與成本。即使像 Claude 3 這樣頂尖的模型提供了長達 200K tokens 的上下文，甚至對特定用戶開放到 1M tokens，每一輪對話的成本與延遲依然與輸入長度成正比。將不變的、重複的指令塞滿每一次請求，無疑是巨大的浪費。

更嚴重的問題在於「指令遺忘」。在長對話或複雜任務中，模型為了處理新的資訊，可能會對上下文進行某種形式的壓縮或摘要，導致早期的指令逐漸失去影響力。這就是所謂的「注意力稀釋」或「迷失在中間」（Lost in the Middle）問題。Google 的一項研究便指出，模型在處理長文本時，對開頭和結尾的資訊記憶最深刻，中間部分的資訊則容易被忽略。

一篇經典的「大海撈針」（Needle In A Haystack）評測也顯示，即使模型在 200K 長文中能以超過 99% 的準確率找回目標資訊，但在更複雜的指令遵循場景中，穩定性依然是挑戰。當所有指令都擠在同一個層級時，我們就失去了控制哪些指令應該被「永久記憶」的權力。

如何設計一個多層次的指令架構？

一個更穩健的作法，是將指令依照其不變性、作用域和觸發時機，分門別類地存放在不同層級。近期在開發者社群引起討論的 Claude Code 設計概念，便是一個很好的例證。它揭示了一種包含至少七個控制層面的指令架構，讓我們得以一窺未來 AI 系統的設計藍圖：

System Prompt：這是最高、最穩定的層級，用來定義 AI 的核心身份、終極目標和基本性格。例如「你是一位資深的 Python 架構師，重視程式碼的可讀性與擴展性」。這層指令在整個生命週期中幾乎不會改變。

CLAUDE.md：可以視為專案層級的「憲法」或「說明書」。它定義了該專案的背景、主要目標、關鍵術語和整體工作流程，在專案期間保持穩定。

Rules：針對特定任務的具體規則與限制。例如「所有函式命名必須使用小寫蛇形命名法（snake_case）」或「禁止使用第三方套件」。這些規則的作用域比 CLAUDE.md 更小，僅在相關任務中載入。

Skills：可重複使用的能力模組或工具箱。這類似於傳統軟體開發中的函式庫，可以透過名稱呼叫。例如，一個名為 `generate_unit_test` 的 skill 包含了一套完整的單元測試生成指令。這種設計與檢索增強生成（RAG）的精神不謀而合，只在需要時才將相關知識或能力載入上下文。

Hooks：事件驅動的觸發器。例如「在每次生成程式碼後，自動執行 `code_linter` 這個 skill」。這讓 AI 的行為能與工作流程中的特定事件掛鉤，實現自動化。

Memory：長期或短期的記憶儲存。用於存放對話歷史、使用者偏好或先前任務的結論，讓 AI 具備連續性與個人化能力。

除了上述層級，還包括了 Subagents（子代理）、Output styles（輸出風格）等更細緻的控制項。這種分層設計，讓指令的管理從一團混亂的文字，變成結構清晰、權責分明的系統。

指令分層的實務效益：穩定性與可維護性

將指令分層存放，不僅是為了節省 tokens，更重要的是提升了整個 AI 系統的穩定性與可維護性。當一個指令被放在 System Prompt 層級，它就擁有最高的權重與最長的生命週期，不易在長對話中被「遺忘」。反之，僅在特定情境下需要的工具性指令，則應該作為 Skills 按需載入，用完即棄，保持上下文的乾淨與專注。

一個設計良好的 AI 系統，其效能不應取決於使用者單次提示的品質，而應由其內建的、結構化的指令體系來保障。這才是從「玩具」邁向「工具」的關鍵一步。

這種架構也大幅改善了維護性。試想，如果要更新一個輸出 JSON 的格式要求，在「單體式 Prompt」中，我們可能需要大海撈針般地尋找並修改那段文字，還得擔心是否會意外影響其他指令。但在分層架構中，我們可能只需要修改一個名為 `json_formatter` 的 skill 或一條明確的 Rule 即可。這讓 AI 應用的迭代與除錯變得像管理程式碼一樣有條理。

總結來說，當我們在建構 AI 應用時，應該跳脫「寫 Prompt」的單點思維，轉向「設計指令架構」的系統思維。思考哪些指令是永恆不變的「核心原則」（System Prompt），哪些是專案級的「指導方針」（Rules），又有哪些是可隨時取用的「工具集」（Skills）。這種將指令精準分配到不同層級與載入路徑的作法，才是打造高效、可靠且可持續演進的 AI 系統的根本之道。

延伸閱讀

• Claude Code の Steering Surfaces について
• Introducing the next generation of Claude
• Lost in the Middle: How Language Models Use Long Contexts
• OpenAI API Documentation on Task Decomposition

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。