不只是存檔讀檔：AI Agent 的「安全恢復」為何是信任的基石？
當 AI Agent 從中斷點恢復時，我們如何確保它不會重複送出訂單，或跳過關鍵的安全驗證？這不僅是技術的穩定性問題，更是系統信任的核心。本文將從一篇近期研究出發，探討為何傳統的狀態檢查點（checkpoint）機制不足以應對與真實世界互動的 Agent，並說明生產級 Agent 運行時（runtime）為何必須建立能夠驗證外部副作用的「安全恢復契約」。
AI Agent 中斷後若只還原內部狀態，可能重複付款、略過驗證，或誤判外部動作已完成。可信的 checkpoint 必須同時證明狀態、授權與副作用一致，也界定恢復後可被允許的行為；安全恢復不是備援細節，而是 production runtime 能否被信任的基本契約。
當 Agent 內部記憶與外部現實脫鉤，會發生什麼？
在傳統的計算任務中，檢查點與恢復（Checkpoint/Resume, C/R）是一個成熟的容錯機制。系統定期將內部狀態儲存起來，一旦發生故障，便能從最近的檢查點恢復，避免從頭來過。然而，當這個機制被直接套用到需要與外部世界頻繁互動的 AI Agent 上時，一個根本性的矛盾就出現了：Agent 的內部記憶可以回滾，但它在真實世界中造成的影響——例如發送一封郵件、呼叫一個 API、或完成一筆轉帳——卻是無法輕易撤銷的。
一篇提交到 arXiv 的論文 《Safe to Resume? Breaking Execution Continuity of Agent Execution via Rollback》 精準地剖析了這個問題。研究團隊定義了五種因狀態不一致而導致的失效模式，並透過實驗證明，攻擊者可以透過刻意觸發回滾，操縱 Agent 的行為。
舉例來說，在他們針對一個名為「Hermes」的模擬電商 Agent 系統的攻擊中，攻擊者成功誘使 Agent 回滾到支付授權之前，再引導它執行其他任務，最終繞過了支付驗證。另一個更直接的攻擊則是讓 Agent 在完成支付後回滾，使其「忘記」已經付過款，從而重複執行支付動作，造成重複扣款。這些案例清楚揭示了，僅僅依賴內部檢查點的危險性。
這種攻擊的核心在於利用了內部狀態（Internal State）與外部效應（External Effects）之間的「同步間隙」。Agent 的 runtime 認為操作失敗而回滾，但外部系統可能早已成功執行了該操作。
為什麼「冪等性」不足以完全解決問題？
熟悉分散式系統設計的開發者可能會立刻想到「冪等性」（Idempotency）。只要確保所有與外部互動的操作都是冪等的，重複執行不就會產生一樣的結果，而不會造成危害嗎？例如，在支付 API 中使用唯一的冪等性金鑰（idempotency key），確保同一筆交易請求即使被發送多次，也只會被處理一次。像是 Stripe 的 API 文件 就明確建議開發者利用這個機制來防止意外的重複收費。
冪等性確實是解決方案的關鍵一環，但它本身並非萬靈丹。它主要處理「重複執行」的風險，卻難以應對「跳過執行」的攻擊。在前面提到的 Hermes 系統攻擊案例中，研究顯示 Agent 被誘騙回滾到驗證步驟 *之前* 的狀態，然後繼續執行後續任務。此時，關鍵的驗證步驟就被永久地略過了。這種情況下，單靠操作層面的冪等性是無效的，因為那個冪等操作根本沒有機會被觸發。
這顯示我們需要的遠不止是單一操作的安全性，而是一個更全面的「執行連續性」保證。
如何建立生產級 Agent 的安全恢復契約？
要讓 Agent 能夠在金融、醫療、自動化控制等高風險領域安全運行，其 runtime 必須從根本上重新思考檢查點與恢復機制。這需要建立一套「安全恢復契約」（Safe Resume Contract），確保 Agent 在任何時候恢復執行時，其內部狀態與外部世界的狀態都經過驗證並保持一致。這份契約應包含至少三個核心要素：
- 可驗證的外部狀態（Verifiable External State）：在從檢查點恢復時，runtime 不能只載入本地保存的狀態。它必須主動向相關的外部系統查詢，確認關鍵操作的最終狀態。例如，在恢復一個轉帳任務前，應先查詢銀行的 API，確認上一筆交易的 ID 是否已經成功、失敗或仍在處理中，而不是盲目地相信本地紀錄。
- 不可重放操作（Non-Replayable Operations）：除了廣泛採用冪等設計外，對於某些絕對不能重複的關鍵決策或授權步驟，應在架構層面設計為「一次性令牌」（nonce）或狀態機鎖定。一旦該步驟完成，其狀態就應被永久記錄在一個獨立且抗回滾的日誌中。這類似於在區塊鏈中，一筆交易一旦被確認就不可逆轉。
- 可驗證的執行連續性（Verifiable Execution Continuity）：整個 Agent 的執行過程，特別是跨越中斷與恢復的邊界，應該留下記錄。這可以透過對每一步的狀態與行動進行加密簽名或雜湊鏈結來實現，形成一條可供審計的、無法被竄改的執行軌跡。這確保了從啟動到當前狀態的每一步都是合法且連續的，沒有任何步驟被惡意跳過或插入。正如《Safe to Resume?》論文所強調，缺乏這種連續性驗證是回滾攻擊的溫床。此外，許多針對大型語言模型安全性的研究，如對 LLM 安全與信任的全面性調查，也間接指出了這種可驗證性的重要。
將這些機制整合起來，才能將傳統的 C/R 機制從一個單純的容錯工具，升級為保障 Agent 安全與可信的基石。這不僅僅是防禦外部攻擊，更是建立內部治理與事後審計能力的基礎。當 AI Agent 越來越深入地融入我們的數位基礎設施時，確保它們的每一步行動都穩固、可追溯且安全，是我們無法迴避的責任。
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。