AI 代理的記憶陷阱：為何用戶偏好有保存期限？
我們常將 AI 個人化視為一次性的設定，但當我們的品味、需求隨時間改變時會發生什麼？一份新研究揭露，即使是頂尖 AI 模型也難以適應，常將過期的偏好當成有效的指令。這不僅是個技術缺陷，更是對人機協作模式的根本誤解，可能導致代理在錯誤的授權下行動，帶來實際風險。
使用者偏好不是初始化時填完就永久有效的設定，而是會演變、衝突與失效的長期 state。Agent 若把過期偏好當成仍有效的授權，就會在錯誤脈絡中行動；偏好記憶必須保留不確定性，並設計重新確認與失效機制。
為何「一次性設定」的個人化是個迷思？
我們在設定新的應用程式或 AI 助理時，總會經過一個「個人化」的 onboarding 流程。系統會詢問我們的興趣、目標或偏好的溝通風格。這個流程的潛在假設是：一旦使用者設定完成，這些偏好就會像憲法一樣穩定。然而，人類的偏好是流動的。今天的熱情可能成為明天的厭倦，工作目標會隨專案進度而調整，甚至對食物的口味也會因季節或健康狀況而改變。
當前的 AI 代理，特別是基於大型語言模型的系統，擅長處理「初始資訊缺失」的問題。它們可以透過幾輪對話來釐清一個模糊的請求。然而，它們的架構卻很少考慮到「資訊過期」的問題。
模型傾向於將早期互動中學習到的偏好當作永久的「事實」，並在後續的互動中不斷強化這個認知。這就創造了一個危險的陷阱：當使用者的真實偏好已經演變，AI 代理卻仍固執地依循舊有的指令，這時的「貼心」就變成了「冒犯」，甚至可能造成實際損失。
AcCoRD 基準測試揭示了什麼樣的殘酷現實？
這個問題並非只是理論推測。一份名為 AcCoRD (Agent Collaboration with Realistic Dynamics) 的新研究，便專門設計了一個基準測試，來評估 AI 代理在面對使用者偏好動態變化時的協作能力。與傳統的基準測試不同，AcCoRD 的核心挑戰不在於理解複雜指令，而在於偵測並適應使用者在長期任務中途發生的偏好轉變。
研究結果令人警醒：即便是當前最前沿的模型，在 AcCoRD 測試中的表現也差強人意。這些模型在任務初期能準確捕捉使用者的偏好，但一旦使用者在對話中途表達了新的、甚至與先前衝突的偏好時，模型往往會忽略這些新訊號，或是在短暫適應後又「恢復」到最初的設定。這證明了它們缺乏一個內在機制來處理偏好的不確定性與時效性，而是將所有蒐集到的資訊都視為同等權重的「記憶」。這種將過期偏好當成有效授權的行為模式，在需要代理執行高風險操作（如預算規劃、自動交易）時，將會是個災難。
一個代理如果根據一年前的對話，就認定你現在還喜歡某支股票並逕行買入，它不是在提供個人化服務，而是在基於一張過期的授權書進行越權操作。
如何建立真正能與時俱進的 AI 代理？
要解決這個問題，我們需要從根本上改變 AI 代理儲存與使用偏好的方式，將其從靜態的「設定檔」轉變為動態的「狀態管理」。這需要至少三個層面的架構性轉變：
- 將偏好視為機率分佈，而非定值： 代理的記憶系統不應儲存「使用者喜歡藍色」這樣的布林值，而應儲存成一個帶有不確定性的狀態，例如：「根據 3 週前的對話，使用者偏好藍色的機率為 85%」。這種做法能讓系統內建對資訊時效性的認知，為後續的決策提供更豐富的脈絡。這與貝氏深度學習（Bayesian Deep Learning）中處理模型不確定性的思想不謀而合。
- 建立「偏好衰變」與「重新確認」機制： 記憶中的偏好應該有「保存期限」。隨著時間流逝，或當新的互動資訊與舊有偏好產生衝突時，系統對該偏好的信賴度就應該自動衰減。當信賴度低於某個閾值（例如 70%），或當代理準備執行一個高風險、不可逆的操作時，就必須觸發「重新確認」的流程，主動向使用者探詢。這也是從人類回饋中強化學習（RLHF）需要演進的方向，從一次性訓練轉向持續的線上校準。
- 明確區分「記憶」與「授權」： AI 代理必須理解，知道使用者的過去偏好（記憶），不等於擁有執行相關操作的永久權力（授權）。記憶是決策的參考，而授權則需要根據操作的風險等級與時間的推移，進行週期性的更新與確認。這種類似憲法 AI (Constitutional AI) 的原則性約束，對於確保代理行為的可控性至關重要。
總結來說，AcCoRD 的研究為我們敲響了警鐘。打造能夠長期協作的 AI 代理，其挑戰不僅在於讓模型更聰明或記憶容量更大，更關鍵的是要為它們建立一套健全的記憶治理（Memory Governance）框架。唯有讓代理學會質疑自己的記憶、理解偏好的時效性，並在關鍵時刻懂得「提問」而非「擅自行動」，我們才可能真正信任它們，成為我們在數位世界中可靠的夥伴。
延伸閱讀
- AcCoRD: Evaluating User-Agent Collaboration Under Realistic User Preference Dynamics (arXiv)
- Learning from Human Preferences (OpenAI Blog)
- Claude's Constitution (Anthropic)
- Attention Is All You Need (arXiv) - 雖然是 Transformer 基礎論文，但其注意力機制也啟發了如何對不同時間點的資訊賦予不同權重。
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。