AI 的記憶治理：為什麼可檢索性比儲存量更重要

打造能長期運作的 AI Agent，其核心挑戰並非記憶的儲存容量，而是記憶的「可檢索性」。我們很容易陷入一種迷思，認為只要將所有互動、所有資訊都存入長期記憶，AI 就會變得更聰明。然而，我的觀察是，若沒有預先設計好一套有效的索引與 metadata schema，這些龐大的記憶只會迅速淪為不可治理的資料堆積（data hoard），在未來真正需要時，反而成為拖累效能與精準度的雜訊。長期記憶的瓶頸從來不是存不存在，而是未來能不能被正確、高效地提取。

當儲存壓倒檢索，AI 記憶會面臨哪些詛咒？

在 AI Agent 的架構設計中，「記憶」模組是實現情境感知、個人化與持續學習的基礎。從 2023 年 《Generative Agents》論文中提出的記憶流（memory stream），到 2020 年由 Google 提出的主流 RAG（Retrieval-Augmented Generation）架構，其核心都是圍繞著如何儲存與檢索資訊。然而，隨著 AI Agent 與使用者互動時間拉長，其記憶庫的規模會呈指數級增長。若我們只專注於「寫入」，而忽略了「讀取」的治理，很快就會面臨幾個嚴峻的問題。

首先是檢索延遲。在龐大、未經索引的資料庫中進行語意搜尋或過濾，會消耗大量的運算資源與時間，導致 AI 無法滿足即時互動的需求。其次是精準度下降。當大量不相關的記憶被喚醒時，會干擾大型語言模型（LLM）的判斷，產生所謂的「迷失在中間」（lost in the middle）現象，導致回應失焦或產生幻覺。最後則是治理失控。缺乏結構化的 metadata，我們將無法有效管理記憶的生命週期，例如：哪些記憶需要被遺忘？哪些記憶的權重應該更高？哪些涉及敏感資訊需要被隔離？

這就像一座沒有圖書分類號和索引卡的圖書館，儘管藏書百萬，但對找書的人來說，價值趨近於零。AI 的長期記憶，若沒有良好的檢索架構，最終也會成為這樣的數位廢墟，徒有龐大資料卻難以發揮實質價值。

為什麼預先定義索引如此重要？一個來自 AgentCore Memory 的啟示

最近一篇由 DevelopersIO 發布的技術文章，恰好為這個議題提供了一個極佳的實務案例。該文作者在研究 Amazon Bedrock 的 AgentCore Memory 功能時，發現了一個關鍵的設計細節：在為長期記憶設定 metadata 過濾時，並不能隨意針對任何一個 metadata 欄位進行查詢。開發者必須在記憶體初始化時，透過 indexedKeys 參數，明確宣告哪些 metadata 欄位是「可被索引、可被過濾」的。

這個看似微小的限制，實則反映了一種深刻的架構思維。它強迫開發者在設計記憶系統之初，就必須思考一個根本問題：「未來，我的 AI Agent 會基於哪些維度來回憶過去？」這也印證了核心觀點：長期記憶的治理，始於對未來檢索需求的預測與定義。你必須先決定要如何「問問題」，才能有效率地組織「答案」。

根據 Amazon Bedrock 的官方文件，AgentCore Memory 的設計顯然是為了在規模化應用中維持高效能。相較於短期記憶較為靈活的即時過濾，長期記憶的 indexedKeys 要求，實際上是一種資料庫治理的最佳實踐。預先建立索引，可以讓後端的資料儲存（例如 OpenSearch Serverless）大幅優化查詢效能，避免全表掃描（full scan）帶來的延遲。這項設計選擇傳達了一個明確的訊息：對於一個將會長期運行的系統，效能與可治理性，必須從第一天就開始規劃。

如何設計有效的記憶索引與 Metadata Schema？

既然預先規劃至關重要，我們該如何著手設計一套好的記憶索引與 metadata 結構？這不僅是技術問題，更涉及對應用場景的深刻理解。以下是幾個關鍵原則，能幫助我們建立高效且可治理的 AI 記憶系統。

從使用情境反推索引需求

與其思考「我能記錄什麼」，不如反過來問「未來 AI 在什麼情況下需要回憶起這段記憶？」例如，一個客戶服務 AI Agent，其索引鍵可能需要包含 customer_id、session_id、issue_type（例如「退款」、「技術支援」）以及一個時間戳 timestamp。這些維度將是未來進行精準對話歷史追溯的關鍵，確保 AI 能在正確的時機喚起相關資訊。

在豐富性與複雜度之間取得平衡

過於簡化的 metadata 會讓記憶失去脈絡，但過於複雜的 schema 則會增加儲存與維護的負擔。一個好的起點是採用結構化的巢狀 metadata，例如將所有與使用者相關的資訊放在 user_profile 物件下，將與當前任務相關的資訊放在 task_context 物件下。這種做法不僅讓結構更清晰，也為未來擴充保留了彈性，同時避免了過度設計的陷阱。

將時間維度視為一等公民

幾乎所有有意義的記憶都與時間相關。除了記錄事件發生的時間戳，設計如 last_accessed、expires_at 等 metadata，可以為未來實現更複雜的記憶管理策略（如 LRU 演算法、記憶衰減）打下基礎。這在許多向量資料庫的 metadata 過濾實踐中，已經是標準做法，能有效提升記憶的時效性與相關性。

從 Amazon Bedrock AgentCore Memory 的一個小功能，我們可以窺見 AI Agent 架構正在走向成熟。業界的關注點，正從單純的「如何讓模型記住更多」，轉向更為根本的「如何建立一個可信任、可治理、可長期演化的記憶系統」。這不再只是一個工程問題，而是一個關乎架構哲學的選擇。唯有從一開始就將檢索性與治理納入核心設計，我們才能打造出真正能夠與人類進行長期、有意義協作的 AI 系統。

延伸閱讀

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)
• Configuring memory for an agent in Amazon Bedrock - Amazon Bedrock
• Generative Agents: Interactive Simulacra of Human Behavior (Park et al., 2023)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。