AI 的長時記憶不是灌滿 context，而是建立可續跑的狀態層

當AI代理（agent）在長時間任務中表現逐漸衰退，其根本原因往往不是模型核心能力的減弱，而是其工作「狀態」的密度與可提取性，在不斷拉長的對話歷史中遭到稀釋。與其一味追求更大的上下文視窗（context window），我認為更具擴展性的解法，是建立一套讓AI主動生成「狀態交接摘要」（state handoff summary）的機制。這本質上是在為長鏈工作打造一個可續跑、可追溯的記憶層，也是實現複雜人機協作的關鍵架構。

最近讀到一篇日本開發者的實踐，他並非工程師，而是一位將 Claude 當作主要「業務作業系統」的經營顧問。在連續使用三個月後，他遇到了一個我們許多人都很熟悉的問題：AI 在對話變長後，會開始「變笨」，遺忘早期的指令、混淆關鍵細節。這並非錯覺，而是大型語言模型在處理長序列資訊時固有的挑戰。

為什麼對話一長，AI 的表現就會衰退？

大型語言模型（LLM）的強大能力，很大程度建立在其注意力機制（attention mechanism）之上，使其能夠在輸入的文本中權衡不同詞語的重要性。然而，當上下文視窗變得極長——即使是像 Claude 3 Opus 這樣擁有 200K token 視窗的模型——資訊的提取效率也並非線性。史丹佛大學等機構的研究論文 〈Lost in the Middle〉便清楚指出，模型最能記住上下文的開頭和結尾，而中間部分的資訊則有很高的機率被「遺忘」或忽略。

這背後的根本問題，我稱之為「狀態密度」（state density）的衰減。在一項長達數天、橫跨數十次互動的任務中，關鍵的初始指令、中途的策略轉折、重要的數據點，都散落在大量的對話紀錄中。對模型而言，每一次回應都必須重新掃描整個歷史，這不僅成本高昂，也讓信噪比（signal-to-noise ratio）急遽下降。真正重要的「狀態」，被淹沒在瑣碎的互動細節裡。這就是為什麼，單純擴大 context window 就像是給一個書庫更大的空間，卻沒有建立索引系統，最終找書的效率依然低下。

如何讓 AI 自我生成「狀態交接書」？

前述那位日本顧問的解法，是開發一個名為 hikitsugi（日文「引き継ぎ」，意為交接）的機制。其核心概念非常簡單，卻極其有效：在任務進行到一個階段，或是在新的一天開始工作時，主動要求 AI 為自己撰寫一份「狀態交接書」。

這份交接書並非單純的對話摘要，而是一份結構化的、面向未來的行動綱領。它強迫模型進行一次「狀態壓縮」，將瀰散在歷史對話中的隱性知識，顯性化為一份高密度的文件。一份好的狀態交接書，通常包含以下幾個要素：

• 總體目標（Overall Goal）：這個專案或任務最終要達成什麼？
• 當前進度（Current Progress）：已經完成了哪些部分？目前的具體產出是什麼？
• 關鍵決策與限制（Key Decisions & Constraints）：過程中做出了哪些不可逆的決定？有哪些必須遵守的規則或限制（例如預算、特定格式）？
• 待辦事項與下一步（Next Actions）：接下來需要立刻處理的 1-3 個具體步驟是什麼？
• 上下文參考（Contextual References）：有哪些重要的外部文件、數據或先前討論需要被記住？

當這份交接書生成後，它就成為下一個工作階段的「初始提示」（initial prompt）。我們等於是手動建立了一個記憶檢查點（memory checkpoint），將模型的注意力從龐雜的歷史紀錄，重新聚焦到當下最關鍵的狀態上。這種做法，也與 Anthropic 官方文件中建議將最重要指令放在提示最末端的原則不謀而合。

我們不是在無止盡地擴充 AI 的記憶體，而是在設計它的記憶結構。讓 AI 學會遺忘不重要的，並鞏固重要的。

從狀態管理到可持續的 AI 協作

這個「狀態交接」的模式，看似是一個簡單的提示工程技巧，但我認為它揭示了未來 AI Agent 架構的一個重要方向：從單純的「對話歷史」管理，走向更主動的「記憶治理」（Memory Governance）。

一個真正能夠自主執行長期、複雜任務的 AI Agent，不能只依賴一個線性的、不斷膨脹的記憶池。它需要一個更精密的記憶系統，或許類似於人類的短期工作記憶與長期記憶。對話歷史是原始的感官輸入，而「狀態交接書」則像是經過整理、編碼後存入長期記憶的結構化知識。這種定期進行的「記憶鞏固」（memory consolidation）過程，是確保 Agent 在長達數週甚至數月的任務中，依然能保持目標一致性與行動效率的關鍵。

許多關於長時程 Agent 的研究，都在探索如何讓系統自動化這個過程，例如透過反思（reflection）機制生成摘要，或建立向量化的記憶儲存庫。但即使在目前，透過手動提示引導 AI 進行狀態交接，已經是一個極具實用價值的作法。它將一個看似無解的「模型變笨」問題，轉化為一個可以主動管理的、結構化的工作流程。這不僅提升了 AI 的效能，也讓我們對人機協作的過程擁有了更高的可控性與可預測性。

延伸閱讀

• Claude Code を業務 OS にして3ヶ月、AI は長く話していると馬鹿になる問題と hikitsugi で解決した話 (原始案例分享)
• Lost in the Middle: How Language Models Use Long Contexts (學術論文)
• LLM-powered Autonomous Agents (Lilian Weng 對 AI Agent 架構的深度探討)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。