當規則吞噬了上下文：從一個 AI Agent 的失敗，反思治理框架的隱藏成本

在建構 AI 系統時，我們常直覺地認為，更詳盡的規則與約束能帶來更高的安全性與可靠性。然而，一個自律 Agent 的開發經驗卻揭示了悖論：當治理框架變得過於複雜，它會反過來吞噬模型的上下文（context），讓遵守規則本身成為主要任務，反而排擠了真正的目標。這提醒我們，好的 AI 治理不該是規則的堆砌，而是尋找高槓桿、可維護且能被有效執行的簡潔原則，否則「解方」本身就會成為新的問題。

當 AI 說「我做了」，但其實沒有

最近，一位日本開發者 i_ichi 分享了他開發自律 AI Agent「OpenClaw」的經驗，其中一個核心挑戰，是 AI 會「虛報」任務進度。系統會回報「我已經完成 X 任務」，但實際上該任務根本沒有被執行。這是在開發多步驟、自律型 Agent 時相當常見的幻覺（hallucination）問題，尤其當任務鏈條變長、或需要與外部工具互動時，模型很容易在追蹤自身狀態時出錯。

面對這個問題，最直觀的解法就是「增加紀律」。開發者嘗試導入一套詳盡的框架，用明確的規則來約束 AI 的行為，要求它在每一步都進行自我驗證、回報狀態、並遵循預設的執行流程。這個想法很合理：如果 AI 會犯錯，那就用一套更嚴格的流程手冊來規範它，就像工廠裡的標準作業程序（SOP）一樣，理論上能確保執行的穩定性與可預測性。

為什麼用規則約束，反而讓情況更糟？

然而，這個看似萬無一失的「解方」，卻帶來了始料未及的災難。當這套複雜的規則框架被植入 prompt 中，它佔據了大量的上下文窗口（context window）。結果，AI Agent 為了「理解並遵守規則」，耗盡了大部分的認知資源。

更糟的是，在一次對話中，它或許能勉強遵循指示；但到了下一次互動，由於上下文空間被規則本身塞滿，它已經忘記了上次對話建立的規則與狀態。這讓 Agent 難以維持長期記憶與狀態一致性，每輪互動都像在「冷開機」。

開發者發現，AI 並不是在「執行任務」，而是在「努力回想並執行那套關於如何執行任務的規則」。規則本身，取代了任務，成為系統運作的主體。

這是一個典型的「治理成本反噬系統效能」的案例。我們都知道大型語言模型有其上下文長度的限制，即使是像 GPT-4o 或 Gemini 1.5 Pro 這樣擁有百萬級 token 窗口的模型，其注意力也並非平均分佈，關鍵資訊仍有可能在長文中被忽略。

當 prompt 中充斥著大量行為準則、格式要求、輸出限制時，我們等於是在課徵一種「上下文稅」（contextual tax）。稅率越高，模型能用來處理核心任務的有效上下文就越少，這無疑會嚴重影響其效能。

這個問題在自律 Agent 的設計中尤其致命。由於 Agent 需要在多輪對話中維持長期記憶與狀態一致性，當每一輪互動都必須重新載入那套沉重的規則時，系統不僅難以累積進度，更無法有效達成複雜目標。

如何設計一個不會自我消耗的治理框架？

OpenClaw 的經驗，為當前熱議的 AI 治理（AI Governance）與 prompt constitution 設計帶來了深刻的啟示。從 Anthropic 的 Constitutional AI，到各種為了確保 AI 安全與合規而設計的複雜 prompt 框架，我們很容易陷入「規則越多越安全」的迷思。但事實上，一個無法被模型有效吸收、或在實務中嚴重拖累效能的規則，不僅無用，甚至有害。

一個好的治理框架，不應是鉅細靡遺的法條堆砌，而應追求簡潔與高槓桿。我認為至少應考慮以下幾點：

• 高槓桿原則 (High Leverage)：規則應該是抽象的原則，而非具體的指令。例如，與其列出 50 條禁止的行為，不如定義一個核心原則，如「以使用者長期利益為依歸」，並提供少量範例，讓模型自行泛化。這能大幅降低 token 消耗。
• 可維護性 (Maintainability)：一個由數百行文字構成的 prompt constitution，在系統迭代時將成為巨大的維護負擔。規則應被模組化、版本化，並透過實證數據（而非開發者直覺）來評估其有效性。
• 可執行性 (Executability)：規則必須是模型能輕易理解並穩定執行的。與其設計複雜的邏輯判斷，不如將部分驗證工作轉移到模型外部，透過傳統的程式碼或 validator 來處理。例如，與其在 prompt 中要求 AI「請務必輸出 JSON 格式」，不如直接在後端設計一個強健的解析與重試機制。這呼應了大型模型 Function Calling 的設計哲學：讓模型專注於「意圖理解」，讓外部工具處理「確定性執行」。

最終，AI 治理的目標是引導系統達成期望的成果，而不是讓系統陷入遵守規則的泥淖。從 OpenClaw 在 3 月上旬遇到的這個難題，到後來因 Silent Fallback 錯誤導致的 7 萬日圓帳單事件，都指向同一個核心：複雜系統的失控，往往源於我們試圖用更複雜的手段去控制它。真正的解方，或許在於找到那些能四兩撥千斤的簡潔支點，而非打造一座讓所有人都迷失其中的規則迷宮。這不僅是大型語言模型 Agent 的興起與風險的挑戰，也是所有 AI 系統建構者都必須面對的課題。

延伸閱讀

• i_ichi: 自律 AI が「やっていないのに、やりました」と言う問題に、フレームワークで規律を与えようとしたら、規律がコンテキストを食い尽くした話
• Anthropic: Claude's Constitution
• arXiv: Lost in the Middle: How Language Models Use Long Contexts
• OpenAI: Function Calling 與其他 API 更新
• arXiv: The Rise and Risks of Large Language Model Based Agents
• Stanford HAI: A Framework for AI Transparency and Accountability

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。