AI Agent 的失憶症：為什麼長期記憶不能只靠摘要，而需要一張「回溯地圖」？
當 AI Agent 的記憶只剩下摘要，它就成了一個不斷失真的壓縮器。我們需要一種新的記憶架構，它不試圖取代原始事實，而是像一張精確的地圖，引導 Agent 找回最完整的脈絡與細節，這才是建立可靠、可追溯的自主系統的關鍵。
當我們為 AI Agent 設計長期記憶時，直覺會想將對話不斷摘要、壓縮。然而，這個看似高效的策略，卻是我觀察到許多 Agent 系統變得「不可靠」的主因。記憶一旦只剩摘要，Agent 便會逐步失真，最終自信地「創造」出與原始事實不符的細節。因此，真正穩定、可信賴的記憶架構，不應試圖取代事實，而應像一張麵包屑地圖（breadcrumb map），保留回溯原始脈絡的定位能力。這不僅是技術選擇，更關乎我們能否建立真正可被審計與信任的 AI 系統。
摘要式記憶為何必然失真？
你或許遇過這種場景：你請協作 Agent 找出幾天前你們一起定義好的一段正規表示式（Regular Expression），它給了你一個看起來八九不離十的版本，但實際測試時卻頻頻出錯。少了一個逸出字元、漏了一個網域名稱，細微的錯誤導致功能完全失效。但 Agent 卻對自己的答案信心滿滿，因為它是從一份模糊的「摘要」中，重新「生成」了這段程式碼，而非「提取」原始紀錄。
這並非單純的 bug，而是一種架構上的必然。許多主流框架如 LangChain 提供的 ConversationSummaryMemory，其核心邏輯就是將對話歷史壓縮成摘要。這個過程本質上是「有損壓縮」（lossy compression）。每一次的摘要，都在遺失資訊；如果 Agent 還會對過去的摘要再次進行摘要，資訊熵增的速度會非常驚人，就像一張圖片被反覆存成低品質的 JPEG 檔，最終只剩下模糊的輪廓。
當一個系統的記憶只依賴層層轉述的摘要，它就失去了與「事實根源」（ground truth）的連結。Agent 的回應不再基於歷史事實，而是基於對事實的模糊印象所做的即興創作。
這種現象與學術界提出的「模型崩潰」（Model Collapse）概念遙相呼應。一份 2023 年的 研究《The Curse of Recursion》 指出，當模型持續用自己生成的資料進行訓練時，會逐漸忘記真實世界的數據分佈，最終導致產出品質劣化。Agent 的摘要式記憶，就像一個微型的遞迴詛咒：它不斷用自己生成的摘要來餵養未來的自己，導致記憶的精確度隨時間遞減。
如何建構更穩定的「麵包屑記憶」架構？
既然摘要不可靠，那該如何為 Agent 建立長期、穩定且精確的記憶？答案是改變我們對「記憶」的定義。記憶不該是儲存內容的容器，而應是指導如何找到內容的地圖。這就是我所說的「麵包屑記憶」（Breadcrumb Memory）架構。
這個架構的核心是將「定位」與「讀取」兩個步驟分離。它不再試圖將所有資訊塞進一個濃縮的摘要裡，而是採取一種更接近 檢索增強生成（RAG）的兩階段流程：
- 索引與定位（Indexing & Locating）：將每一段原始對話、每一份文件、每一次的工具調用結果，都作為不可變的「原始文件」儲存。同時，為這些文件建立摘要或嵌入（Embeddings）作為「索引」。當 Agent 需要回憶時，它會先對這些輕量的索引進行語意搜尋，快速找到最相關的幾個原始文件位置。
- 回溯與注入（Retrieving & Injecting）：一旦定位到相關的原始文件，系統會直接提取未經修改的完整內容，將其注入到模型的當前上下文視窗（Context Window）中。這確保了模型在做決策時，面對的是最原始、最高保真度的資訊。
我們可以透過一個簡單的比較，看出兩種架構的根本差異：
| 摘要式記憶 | 麵包屑記憶 | |
|---|---|---|
| 儲存單位 | 不斷更新的摘要 | 不可變的原始紀錄 + 索引 |
| 回憶過程 | 讀取摘要 → 根據摘要生成 | 搜尋索引 → 定位紀錄 → 讀取原始紀錄 → 根據原始紀錄生成 |
| 資訊保真度 | 隨時間遞減 | 恆定不變 |
| 可追溯性 | 低，難以回溯原始對話 | 高，每個記憶都可連結回原始出處 |
這種設計理念，讓我們能充分利用現代 LLM 長達 200K token 的龐大上下文視窗，同時又不必擔心記憶總量超過限制。索引負責效率，原始紀錄負責精確，兩者結合，才能打造出既聰明又可靠的 Agent。
為什麼記憶的可追溯性如此重要？
採用麵包屑記憶架構，帶來的好處不僅是資訊的精確度。更深層的價值在於它賦予了 AI 系統「可追溯性」（Traceability）與「可審計性」（Auditability）。
當 Agent 做出一個關鍵決策時，我們可以輕易地問：「你的判斷依據是什麼？」透過麵包屑記憶，系統可以明確指出是基於哪幾段原始對話、哪一份文件的第幾頁、或是哪一次 API 的返回結果。這對於在金融、醫療、法律等高風險領域部署自主系統至關重要。我們需要知道 AI 的每一個結論，都能追溯回一個堅實的事實根源。
當然，這種架構也帶來了挑戰。它需要更大的儲存空間來保留所有原始紀錄，也需要更複雜的檢索系統（例如 向量資料庫）來管理索引。但隨著雲端儲存成本的持續下降，以及檢索技術的成熟，我相信這份前期投入，對於換取系統長期的穩定性與可信度，是完全值得的。
從更宏觀的視角看，這反映了 AI 系統設計哲學的演進。我們正從追求單純的「能力湧現」，轉向建構更具結構、更可預測、更像軟體工程的 認知架構（Cognitive Architectures）。記憶系統的設計，正是這個轉變的核心。讓記憶回歸地圖的本質，確保每一個決策都能找到回家的路，這或許才是通往真正可靠自主系統的必經之路。
延伸閱讀
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401)
- The Curse of Recursion: Training on Generated Data Makes Models Forget (arXiv:2305.17493)
- Cognitive Architectures for Language Agents (arXiv:2309.02427)
我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。