記憶治理不能只看 Token：建構 Coding Agent 的語義工作記憶

Coding Agent 的工作記憶不是一個可任意刪減的 token 池；指令、工具結果、證據與執行狀態承擔不同責任。若用同一套壓縮規則處理它們，系統會遺失真正決定行動品質的脈絡。記憶治理應先辨識語義角色，再決定保存、檢索與淘汰策略。

為什麼單純的 Token 預算對 Agent 來說不夠用？

目前主流的 AI Agent 架構，無論是基於 LangChain 的 Memory 模組還是客製化的 RAG 系統，其核心限制都來自於大型語言模型（LLM）的有限上下文視窗。即使模型支援長達 128K 甚至 1M Token 的上下文，這依然是一種「暴力破解」，而非精巧的記憶管理策略。在一個需要數十輪互動、跨越數小時的複雜編碼任務中，Agent 的工作記憶會迅速被日誌、錯誤訊息、程式碼片段和中間思考過程填滿。

當記憶體滿載時，最常見的策略是「先進先出」（FIFO）或基於 TF-IDF、embedding 相似度的簡單壓縮。這種做法的最大問題在於「語義盲視」（semantic blindness）：它無法區分一段關鍵的用戶指令和一段冗長的 API 錯誤回報。結果就是災難性的遺忘——Agent 可能會忘記最初的目標，或是在已經修復的 bug 上原地打轉。這不僅降低了任務成功率，也讓我們對 Agent 的長期自主性產生懷疑。我們需要的不是更大的記憶體，而是更聰明的記憶體治理（Memory Governance）。

如何區分工作記憶中的不同語義角色？

一篇名為 《Measure Before You Manage: Evaluating Agent Working Memory in Coding Agents》 的研究為這個問題提供了清晰的思路。研究團隊分析了 55 個真實世界中 Coding Agent 執行任務的軌跡（trace），發現 Agent 工作記憶中的資訊可以被明確歸類為幾種具備不同特性的「語義對象」（semantic objects）。

這項研究將工作記憶的內容分為四種主要角色：

• 指令（Instructions）：來自用戶的直接命令或目標描述。它們是任務的「北極星」，具備最高的優先級，幾乎不應被壓縮或遺忘。
• 證據（Evidence）：Agent 從環境中觀測到的事實，例如檔案內容、目錄結構、文件說明。這類資訊通常可以被摘要或索引，以節省空間，但在需要時必須能精確還原。
• 工具輸出（Tool Outputs）：執行程式碼、API 呼叫或終端機指令後的回傳結果，如編譯錯誤、測試報告、JSON 回應。這類資訊往往極其冗長且充滿雜訊，是最主要的壓縮對象。
• 狀態承諾（State Commitments）：Agent 對於當前進度、下一步計畫或對問題的假設。這類似於「思想鏈」（Chain of Thought），是維持任務連貫性的關鍵，應被完整保留。

這個分類框架的重要性在於，它將記憶管理的討論從「多少 Token」提升到了「什麼資訊」的層次。它讓我們意識到，不同類型的資訊有著截然不同的生命週期和重要性。

管理記憶的重點不是「記住多少」，而是「該記住什麼，以及如何記住」。

如何建立可觀測、可驗證的工作記憶政策？

有了語義角色的概念，我們就能設計一套更精細的「工作記憶政策」（Working-Memory Policy）。這套政策不再是單一的 Token 預算，而是一組針對不同語義對象的差異化規則。例如，我們可以設定一條規則：「指令」類型的記憶永不移除；「工具輸出」在存入時，優先進行無損壓縮，若空間仍然不足，則進行有損摘要，但保留錯誤碼等關鍵特徵。

這套政策的優勢在於它的可觀測性與可驗證性。我們可以監控每種語義對象的存留率、壓縮比與檢索頻率，從而量化評估記憶系統的效能。當 Agent 犯錯時，我們能夠回溯其記憶軌跡，判斷是哪個環節的記憶管理失當——是過早遺忘了指令，還是錯誤地壓縮了關鍵的「證據」。這對於除錯和迭代 Agent 的行為至關重要。

當然，實作這樣的系統並非易事。它需要在 Agent 的架構中加入一個「語義分類器」，在資訊進入工作記憶前就為其打上標籤。這本身就需要額外的模型或是一套精巧的規則引擎。然而，隨著 Agent 處理的任務日益複雜，例如在 SWE-bench 這類真實軟體工程場景中運作，這種投資是必要的。像 Voyager 這類能夠長期自主探索的 Agent，其背後必然有一套超越簡單上下文視窗的記憶機制。

總結來說，將記憶治理從 Token 計數轉向語義管理，是打造下一代高階 AI Agent 的必經之路。這不僅是技術上的演進，更是我們對「智慧」本質理解的深化——真正的智慧，不在於擁有無限的記憶，而在於懂得如何篩選、組織與遺忘。

延伸閱讀

• Measure Before You Manage: Evaluating Agent Working Memory in Coding Agents
• Emerging Architectures for LLM Applications
• SWE-bench: Can Language Models Solve Real-World Software Engineering Problems?

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。