上下文壓縮的真正挑戰：不只是刪減 Token，而是預測遺忘的代價
當 AI Agent 的對話歷史越來越長，我們習慣用壓縮來節省成本。但這種「節省」可能導致 Agent 忘記關鍵資訊，被迫重複執行昂貴的工具調用。本文從一篇關於工具記憶保留的研究出發，探討一種新的記憶治理框架：保留什麼，取決於刪掉後會讓系統重做什麼。這不只是技術優化，更是對 AI 系統長期成本與效率的根本性思考。
壓縮 Agent 上下文不能只追求更少 token，因為被刪掉的工具證據可能迫使系統重新查詢、重做工作，成本反而更高。成熟的記憶治理應按遺忘後果決定保留策略：不是問內容多長，而是問刪除後，任務會多付出多少代價。
長上下文的詛咒：節省 Token 卻賠上效率？
當我們設計使用工具（Tools）的 LLM Agent 時，一個常見的運作模式是將工具的輸出結果回填到上下文視窗中，作為後續決策的依據。例如，一個旅行規劃 Agent 可能會先調用search_flights，再根據結果調用book_hotel，這類基於ReAct 模式的 Agent。隨著任務越來越複雜，對話歷史與工具輸出不斷累積，很快就會塞滿模型的上下文視窗，導致 API 成本飆升、延遲增加，甚至可能因為資訊過載而影響模型表現，也就是所謂的「Lost in the Middle」問題。
直覺的解決方案是進行上下文壓縮，例如移除最舊的對話（FIFO）、對歷史進行摘要，或是簡單地截斷。這些方法雖然能立即降低 Token 數量，卻是一種短視的局部最佳化。它們沒有考慮到被刪除資訊的「未來價值」。如果 Agent 忘記了先前某個關鍵 API 的查詢結果，而後續步驟又需要它，系統唯一的選擇就是重新調用一次該工具。這不僅會產生新的 API 費用與時間延遲，在某些情況下（例如寫入資料庫的工具），重複執行甚至可能導致系統狀態錯誤。
真正的成本不是當下省下的 Token，而是未來因遺忘而必須重複執行的昂貴操作。
TRACER 如何學習「遺忘的後果」？
最近一篇名為 TRACER: Per-Tool Context Retention for LLM Agents 的研究，針對這個問題提出了一個更細緻的解決方案。這篇論文的作者們發現：並非所有工具的輸出都具有相同的價值。有些工具的結果可能只在當下有用，而另一些則可能在整個任務流程中被反覆參考。
TRACER 的作法是利用強化學習（Reinforcement Learning）訓練一個小型模型，使其學會為「每種工具」動態決定一個上下文保留率（retention rate）。這個決策的獎勵機制（reward function）設計得非常巧妙，它同時考慮了兩個目標：
- 任務成功：最大化完成最終任務的成功率。
- 成本效益：最小化過程中消耗的總 Token 數。
透過在各種任務中反覆試驗，TRACER 學會了預測「遺忘」的後果。例如，它可能會學到：對於一個查詢資料庫的db_query工具，其輸出結果非常關鍵，應該給予接近 100% 的保留率；而對於一個檢查當前時間的get_time工具，其結果時效性很短，保留率可以設得非常低。實驗結果相當顯著，相較於保留所有歷史紀錄的傳統方法，TRACER 在不損害任務成功率的前提下，成功將 Token 消耗減少了 29% 到 46%。
為什麼需要從「上下文管理」走向「記憶治理」？
TRACER 的研究雖然聚焦於工具調用，但它揭示了一個更根本的原則，我稱之為「記憶治理」（Memory Governance）。這代表我們應該將 Agent 的上下文視窗，從一個單純的「對話紀錄」，提升到一個有策略、有管理的「工作記憶體」。
傳統的上下文管理與記憶治理之間，存在著思維上的根本差異：
| 傳統上下文管理 | 記憶治理框架 | |
|---|---|---|
| 核心目標 | 縮減當前的 Token 數量 | 最小化系統的總體成本（Token + 重工 + 失敗風險） |
| 決策依據 | 資訊的位置、長度或靜態規則 | 資訊對未來任務的預期價值 |
| 執行方式 | 局部的、反應式的（滿了才刪） | 全域的、預測性的（主動決定保留什麼） |
在這個框架下，我們在決定是否要從上下文中移除一段資訊時，應該問的核心問題是：「如果我現在刪掉它，系統未來為了重新取得或推導出這段資訊，需要付出多大的代價？」這個代價可能是 API 費用、運算時間、使用者等待時間，甚至是任務失敗的風險。
這種思維不僅適用於工具使用，也適用於更廣泛的 AI Agent 設計。例如，在一個需要長期運行的個人助理 Agent 中，哪些使用者偏好設定、過去的成功互動經驗，應該被永久儲存（long-term memory），哪些又可以作為暫時的工作記憶（short-term memory）？這正是許多 Agent 框架試圖解決的問題，而 TRACER 的方法為如何動態、智慧地管理這道邊界提供了新的思路。
總結來說，上下文壓縮不該只是一場關於 Token 數量的零和遊戲。透過引入對「未來成本」的預測，我們可以建立更有效率、更穩健的 AI 系統。這不僅是技術上的優化，更是我們在設計能夠長期自主運作的智慧體時，一個不可或缺的系統性思考。
延伸閱讀
- TRACER: Per-Tool Context Retention for LLM Agents via Consequence-Attributed Reinforcement Learning (本文討論的核心論文)
- Lost in the Middle: How Language Models Use Long Contexts (關於長上下文如何影響模型表現的經典研究)
- ReAct: Synergizing Reasoning and Acting in Language Models (奠定 LLM Agent 思考與行動循環的基礎論文)
- LlamaIndex Agent Memory Modules (關於 Agent 記憶體管理的實務文件)
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。