把 LLM 當 CPU：Context Pointer OS 如何為自主 Agent 打造認知作業系統

當前 AI Agent 的發展瓶頸，很大程度來自大型語言模型（LLM）有限的上下文視窗（context window）與無狀態（stateless）的本質。這導致 Agent 難以處理需長時間執行的複雜任務，也無法有效累積與利用經驗。為了解決這個問題，業界的主流作法是暴力擴展上下文長度，但這終究有其極限。我認為，一個更根本的架構轉向正在發生：將 LLM 視為一個純粹的「中央處理器」（CPU），並在其上建立一個更高層次的「作業系統」（OS）來負責記憶體與任務調度。這不僅是個比喻，而是一個通往真正自主 Agent 的關鍵路徑。

當前 AI Agent 為何難以實現真正的「自主」？

目前多數 Agent 的運作模式，是將所有相關資訊——包括系統提示、歷史對話、工具定義、外部文件——全部塞進模型的上下文視窗裡。這就像一台只有少量 RAM 的電腦，所有程式與資料都必須擠在裡面。一旦任務所需資訊超過上下文的容量上限，Agent 就會開始「遺忘」，失去對話的脈絡、忘記先前的指令，或是無法整合長篇文件中的知識。

雖然像 Google Gemini 1.5 Pro 這樣的新模型，已經將上下文長度擴展到 100 萬個 token，暫時緩解了問題，但這更像是一種硬體升級，而非架構上的根本解決方案。只要任務的複雜度與時間跨度持續增加，我們終究會再次撞上記憶體的高牆。更重要的是，這種將所有資訊一視同仁塞入提示詞的作法，缺乏效率與彈性，也無法區分「當前需要專注的工作記憶」與「備而不用的長期記憶」。真正的自主性，需要的是更精巧的資源管理機制。

把 LLM 當 CPU：CPOS 如何重新定義記憶體管理？

最近一篇由日本開發者提出的《Context Pointer OS (CPOS)》概念性論文，為這個問題提供了一個極具啟發性的架構。CPOS 的核心思想，是徹底將 LLM 的角色從一個無所不包的資訊容器，轉變為一個專注於推理與執行的「CPU」。而傳統上被視為 LLM 輸入的提示詞（prompt）區域，則被重新定義為動態管理的「工作記憶體」（Working Memory / RAM）。

這個架構借鑒了現代電腦作業系統的虛擬記憶體管理機制。CPOS 會將大量的外部知識與對話歷史儲存在向量資料庫等「長期記憶體」（Long-term Memory / Storage）中。當 Agent 需要執行特定任務時，CPOS 這個「作業系統」會像記憶體管理器一樣，只將當下最相關的資訊片段（稱為 Context Pointers）載入到 LLM 的「工作記憶體」中。這確保了 LLM 的每一步推理，都是在最精簡、最相關的資訊基礎上進行，大幅提升了效率與可擴展性。

這個想法與加州大學柏克萊分校提出的 MemGPT 概念不謀而合。MemGPT 同樣將 LLM 視為一個受限的處理單元，並透過一個虛擬上下文管理器，在主記憶體（LLM 上下文）與外部儲存之間進行數據分頁（paging），讓 Agent 能夠處理超越其上下文長度的資訊流。

這種分層架構，也更貼近人類的認知模式。根據心理學家 Baddeley 的工作記憶模型，人類的意識同樣有一個容量有限的「工作記憶」區域，用來處理當前的感知與思考，同時能從龐大的長期記憶中提取所需資訊。CPOS 正是試圖在 AI Agent 中模擬這種高效的認知分工。

從基礎到自律：CPOS 的三階段發展路徑

CPOS 的論文不僅提出了概念，更規劃了一條清晰的三階段實踐路徑，從一個基礎的記憶體管理器，逐步演化為一個完全自主的認知系統。

第一階段：核心實作層 (Core Implemented Layer)
這是 CPOS 目前已初步實現的基礎。它包含了記憶體管理的核心功能，能夠定義主上下文（Main Context）與子上下文（Sub Context），並透過 Context Pointers 從外部儲存中動態載入資訊。這一層的目標是解決 LLM 的記憶體限制問題，讓 Agent 具備處理長篇文件與長期對話的能力。

第二階段：認知執行層 (Cognitive Runtime Layer)
在記憶體管理的基礎上，這一層引入了更多作業系統的核心元件。例如，一個「排程器」（Scheduler）用來管理多個並行任務的執行順序；一個「程序管理器」（Process Manager）負責監督子任務的生命週期；以及一個「中斷處理器」（Interrupt Handler）來應對外部世界的突發事件。這讓 Agent 從一個單純的問答機器，演變成一個能同時處理多個目標的任務執行平台。

第三階段：自律認知系統 (Autonomous Cognitive System)
這是 CPOS 的最終願景。當 Agent 擁有了成熟的記憶體與程序管理能力後，它將能發展出更高層次的自主性。例如，系統可以根據執行結果自我反思、動態調整長期目標、甚至主動優化自身的運作策略。在這個階段，CPOS 不再只是一個被動的執行環境，而是一個能夠自我演化、具備元認知（metacognition）能力的智慧體。

這個從記憶體管理到任務調度，再到自我導向的演化路徑，為我們描繪了一幅從今天的「工具型 Agent」邁向未來「夥伴型 Agent」的藍圖。將 LLM 的強大推理能力與作業系統的成熟管理哲學相結合，或許正是釋放 AI Agent 全部潛力的關鍵。這不僅是技術上的演進，更是一種思維框架的轉變——我們不再試圖打造一個更大的「大腦」，而是為這個「大腦」設計一個更聰明的「神經系統」。

延伸閱讀

• Context Pointer OS: LLMエージェントの自律稼働を実現する認知ランタイム・アーキテクチャ (CPOS 原始論文)
• MemGPT: Towards LLMs as Operating Systems (MemGPT 論文)
• Our next-generation model: Gemini 1.5 (Google 對 1M 上下文的介紹)

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。