Agent 的失憶症：為什麼重用計畫比加速推理更關鍵？

我們常以為提升 AI Agent 效率的關鍵在於加速模型推理，但真正的瓶頸其實是 Agent 缺乏記憶，對每個重複指令都從零開始規劃。本文將深入探討一種基於「語義意圖分類」而非「文本比對」的創新方法，它賦予 Agent 辨識並重用過往成功經驗的能力。這不僅能大幅解決重複任務的延遲與成本問題，更是讓 Agent 從單純的「工具」進化為真正智能「夥伴」的關鍵一步。

我們是否搞錯了 Agent 的效率瓶頸？

在建構與優化 AI Agent 系統的過程中，我們投入了大量資源在模型層面：更快的 GPU、更精簡的模型架構、更先進的推論引擎。這一切努力都很有價值，但它們共同指向一個假設：Agent 的延遲主要來自大型語言模型（LLM）的「思考」時間。然而，在許多實際應用場景中，這個假設只對了一半。

一個完整的 Agent 任務流程，並非只有一次模型呼叫。它通常始於使用者的一個指令，接著由 LLM 進行「任務規劃」（Planning），將複雜目標拆解成一系列可執行的步驟，例如呼叫 API、查詢資料庫、執行程式碼等。這個規劃過程本身就是一次昂貴的 LLM 推理。

試想，如果一個 Agent 每天需要處理成千上萬個相似的請求——例如「查詢台北天氣」、「幫我看看今天信義區的天氣如何」、「台北會下雨嗎？」——它會不厭其煩地為每一個措辭略有不同的指令，重新生成一次幾乎一模一樣的執行計畫。這不僅造成了巨大的延遲，也浪費了可觀的運算成本。

我們追求的是一個聰明的助理，但得到的卻常是一個勤奮但健忘的實習生，每一天都像第一天上班，凡事都要從頭學起。

如何讓 Agent 學會「舉一反三」？

問題的核心在於，傳統 Agent 系統缺乏有效的「記憶」機制來識別任務的重複性。它們大多依賴表層的文本比對（textual similarity），但這種方法極其脆弱。使用者只要換個說法，系統就會認為這是一個全新的任務。

近期一篇研究 A Plan Reuse Mechanism for LLM-Driven Agent 提出了一個名為「AgentReuse」的機制，它從根本上改變了這個遊戲規則。其核心思想是：放棄文本比對，轉向語義意圖分類（semantic intent classification）。

這個方法不再關心使用者「說了什麼字」，而是專注於理解「想做什麼事」。系統會預先定義或學習一系列核心的「意圖類別」，例如 query_weather、book_meeting 或 search_document。當新指令進來時，一個輕量的分類模型會先判斷其意圖。如果這個意圖與資料庫中某個已儲存的成功案例相符，系統就可以跳過昂貴的 LLM 規劃階段，直接取用（reuse）先前驗證過的執行計畫範本，只需填入新的參數（例如城市、時間）即可。

這種作法的成效相當驚人。根據該研究在真實世界數據集上的測試，AgentReuse 機制達成了 高達 93% 的計畫複用率，同時保持了極高的執行準確率。這意味著，在絕大多數情況下，Agent 都能夠「記起」自己做過同樣的事，從而將任務延遲從數秒降低到毫秒級別。

導入意圖分類機制，我們需要權衡什麼？

當然，從文本比對轉向意圖分類並非沒有代價，它引入了新的系統設計權衡。在導入類似機制時，我們必須考慮以下幾點：

• 意圖的定義與粒度： 意圖類別該如何劃分？是粗略的「查詢資訊」還是精細的「查詢特定城市未來三小時天氣」？這直接影響了系統的複用率與靈活性。太粗的粒度可能導致計畫不適用，太細的粒度則會讓複用率下降。
• 分類器的準確性： 意圖分類模型的準確性至關重要。一次錯誤的分類，可能會讓 Agent 執行一個完全錯誤的計畫，其後果可能比從頭規劃更嚴重。這需要在模型效能與推理成本之間找到平衡點。
• 計畫庫的管理： 如何建立、儲存、更新和淘汰這些「可複用計畫」？一個有效的計畫庫（Plan Library）需要版本控制、效能監控，甚至是一個評分機制來確保被複用的都是最優解。
• 處理未知意圖： 當系統遇到一個全新的、無法歸類的意圖時，必須有一個流暢的 fallback 機制，退回至傳統的 LLM 規劃模式，並在任務成功後，考慮是否將這個新計畫納入計畫庫中。

儘管存在這些挑戰，但這個方向的價值是明確的。它將 Agent 的效率優化從單純依賴底層模型的能力，提升到了系統架構層面的智慧。這讓我們能夠建構出反應更即時、成本更低廉、行為更可預測的 Agent 系統。未來，高效的 Agent 不僅僅是擁有強大推理核心的「大腦」，更需要一個能夠沉澱經驗、識別模式的「長期記憶」系統。這或許才是通往真正實用自主代理的關鍵一步。

延伸閱讀

• A Plan Reuse Mechanism for LLM-Driven Agent
• ReAct: Synergizing Reasoning and Acting in Language Models
• Toolformer: Language Models Can Teach Themselves to Use Tools
• Patterns for Building LLM-based Systems & Products by Eugene Yan
• LangChain Documentation: Memory Concepts

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。