重新思考 AI Agent 的可靠性：為什麼「可恢復的證據」比「不中斷執行」更重要？

我們對 AI Agent 可靠性的想像，經常陷入一個迷思：追求永不中斷、無人值守的自主執行。然而，這種對「持續活躍」（liveness）的執著，反而可能導致系統脆弱、難以除錯且無法信任。我認為，一個更成熟的設計典範，是將可靠性的基礎從「執行過程」轉移到「狀態證據」。真正的信任，源於每一步行動都留下可追溯、可恢復、可驗證的持久化紀錄。這不僅是技術選擇，更是建立長期人機協作信任的基石，讓系統的可靠性不再是空中樓閣。

為什麼對「不中斷執行」的迷戀是個陷阱？

在開發自主代理（Autonomous Agent）時，許多團隊會將「能長時間獨立運行而不出錯」視為終極目標。這種「fire-and-forget」的心態，在理想世界中聽起來很吸引人，但在現實中卻隱藏著巨大的風險。當一個 Agent 進入長達數小時甚至數天的無人值守循環時，它就成了一個行為黑盒子。一旦出現預期之外的行為——例如陷入無限迴圈、消耗過多資源，或做出錯誤決策——我們幾乎無法在不中斷整個任務的情況下進行除錯或修正。

這種設計哲學的脆弱性在於，它將所有希望都寄託在「不出錯」的假設上。然而，複雜系統的本質就是充滿了不確定性。API 可能會超時、外部資料格式可能改變、模型的幻覺（hallucination）也可能在關鍵時刻導致邏輯偏差。當錯誤發生時，一個沒有留下清晰足跡的系統，其災難恢復成本極高。我們不僅失去了當前的運算成果，更重要的是，我們無法準確回溯問題的根源，也無法讓另一個 Agent 或人類操作員從中斷點可靠地接手。

一個真正可靠的系統，不應害怕被中斷，而應擁抱中斷。它的設計目標，是確保任何一次中斷都是非災難性的、可恢復的。

典範轉移：從「執行流」到「證據鏈」

我主張的典範轉移，是將系統設計的核心從管理「執行流」（execution flow）轉變為管理「狀態證據鏈」（chain of state evidence）。在這個模型中，Agent 的每一次重要行動、每一個決策、每一次與外部世界的互動，都不再是稍縱即逝的過程，而是會被記錄下來，成為一個持久化、不可變的「證據」。

這個「證據」不僅僅是日誌（log）。它是一個結構化的狀態快照，完整記錄了該步驟的輸入、決策理由、採取的行動與產生的輸出。整個任務的進程，就由這一系列證據串連而成。Agent 的角色，也從一個深不可測的執行者，轉變為一個在不同狀態之間進行轉換的「狀態機」（State Machine）。

這種方法的優勢是顯而易見的：

• 可追溯性（Traceability）： 任何時候我們都能清楚看見 Agent「想」了什麼、做了什麼，以及為什麼這麼做。這對於審計、合規與除錯至關重要。
• 可恢復性（Resumability）： 如果系統在執行到第 7 步時崩潰，我們不必從頭來過。由於前 6 步的狀態證據都已保存，我們可以輕易地從第 7 步重新啟動，或交由人類專家介入處理。
• 可驗證性（Verifiability）： 我們可以獨立驗證每一步的產出是否符合預期，而不需要重新運行整個複雜的流程。這也符合 ISO/IEC 25010 軟體品質標準中對可靠性的要求。

如何建立可恢復的證據鏈？

將這個概念付諸實踐，並不需要發明全新的技術。它更多是關於如何組合與應用現有的成熟工程實踐。在架構上，我們可以借鏡Temporal或AWS Step Functions這類工作流編排引擎（Workflow Orchestration Engine）的設計哲學。

建立一個基於證據鏈的 Agent 系統，通常包含以下幾個關鍵原則：

1. 任務的原子化與狀態化： 將一個龐大的任務拆解成一系列更小、更獨立的工作單元。每個單元的執行都應被視為一次狀態轉換，其結果必須被持久化儲存，例如寫入資料庫或對象儲存。
2. 確保冪等性（Idempotency）： 這是可恢復性的核心。系統必須確保一個工作單元即使被重複執行多次（例如在故障恢復後），其產生的結果與副作用也和執行一次完全相同。許多成熟的 API 設計，例如 Stripe 的 API，都將冪等性作為核心原則。
3. 將執行與狀態分離： Agent 的執行邏輯（worker）應該是無狀態的。它唯一的任務就是讀取某個狀態，執行運算，然後寫下一個新狀態。這種分離使得擴展、更新或替換 Agent 的執行邏輯變得非常簡單，而不會影響進行中的任務。

舉例來說，一個需要分析 1000 份文件的 Agent，不應該是一個單體式的 for 迴圈。更好的設計是，有一個調度器，每次向 Agent 指派一份文件（工作單元）。Agent 處理完後，將結果與分析摘要作為「證據」寫回儲存系統，並標記該文件已處理。即使 Agent 在處理第 501 份文件時崩潰，重啟後它也能從證據中得知進度，直接從第 501 份文件開始，而不是從頭再來。

這種設計看似增加了前期的複雜度，但它換來的是長期的系統韌性、可觀測性與可治理性。當我們開始部署那些能夠自主操作關鍵業務流程、管理真實世界資產的 AI Agent 時，這種基於證據的信任基礎，將不再是選項，而是必需品。我們信任的，不該是那個永不停歇的黑盒子，而是一個清晰、誠實、可供檢驗的紀錄鏈。

延伸閱讀

• Temporal Documentation: Idempotent Activities
• AWS Compute Blog: Implementing idempotent API calls
• The TLA+ Home Page (Leslie Lamport 關於系統規格化的研究)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。