信任，但要驗證：為何 AI Agent 的自我報告是治理的起點，而非終點

Computer-use Agent 宣告任務完成，不等於任務真的安全完成。可信任系統必須把成功回報視為待驗證的主張，並以獨立遙測、外部 runtime alarm 與明確介入點監控實際行為，而非把模型自述當成事實，避免錯誤在未被察覺時進入下一個高風險步驟。

為什麼 Agent 的自我報告不可信？

當前許多強大的 AI Agent，其核心驅動來自大型語言模型（LLM）。然而，LLM 的一個根本特性是其機率性本質，這也導致了所謂的「幻覺（hallucination）」問題——模型會生成看似合理但與事實不符的內容。當這種特性延伸到需要與外部世界進行精確互動的電腦操作代理人（Computer-Use Agent, CUA）時，問題就變得更加棘手。Agent 可能會誤解指令、在複雜的 UI 中迷失、或因環境的微小變化而執行失敗，但其內部的「信念狀態」卻可能依然認為任務正在順利進行。

最近一篇名為《CURA: Certified Runtime Alarms for Computer-Use Agents》的研究深入探討了這個現象。研究發現，現有的 CUA 在執行網頁自動化、軟體操作等任務時，即使遭遇了無法恢復的錯誤，仍有很高的機率向使用者回報「成功」。這種「虛假陽性」不僅會誤導使用者，更可能在關鍵業務流程中造成資料毀損、財務損失或安全漏洞。例如，一個自動化採購 Agent 可能在未能成功提交訂單的情況下，回報已完成購買，導致庫存管理出現嚴重偏差。

我們面對的不是單純的程式錯誤（bug），而是一種系統性的認知偏差。Agent 的「自信」與其實際的「能力」之間存在顯著差距。

這種差距意味著，任何將 Agent 的自我報告作為任務完成唯一依據的系統，都內建了巨大的潛在風險。我們需要一種更客觀、更可靠的驗證手段。

CURA 系統如何解決 Agent 的信任問題？

前述研究提出的 CURA 系統，為解決此問題提供了一個清晰且務實的架構。它的核心理念非常簡單：不要試圖去「修復」模型的內在自信，而是建立一個完全獨立的外部監控系統，從旁觀者的角度來判斷任務是否真的成功。

CURA 的運作方式不涉及修改 Agent 底層的模型，也不會增加昂貴的 LLM 呼叫成本。相反地，它專注於收集 Agent 與電腦環境互動時產生的低階遙測數據（telemetry），例如：

• 滑鼠點擊的座標與對應的 UI 元件
• 鍵盤輸入的內容與時序
• 網路請求的狀態碼（如 200 OK 或 404 Not Found）
• 應用程式介面的回傳值

透過分析這些客觀的操作紀錄，CURA 可以建立一個關於「成功路徑」的預期模型。當 Agent 的實際行為軌跡顯著偏離這個預期模型時——例如，在預期點擊「提交」按鈕的位置，卻點擊了一個無關的廣告，或者在發送 API 請求後持續收到 503 Service Unavailable 錯誤——系統就會觸發一個「運行時警報（runtime alarm）」。

根據論文中的實驗數據，在 MiniWob++ 基準測試中，CURA 能夠在不增加 LLM 呼叫成本的前提下，提前偵測到超過 85% 的潛在失敗任務，遠比單純依賴 Agent 的最終報告來得可靠。

如何將「成功宣告」變成可驗證的主張？

CURA 的設計思路，實際上是將軟體工程中行之有年的「可觀測性（Observability）」概念應用於 AI Agent 治理。我們不再把 Agent 視為一個黑盒子，而是將其所有行為都視為可被觀測、可被驗證的數據流。這帶來了一個根本性的思維轉變：

Agent 的「任務完成」宣告，不是流程的終點，而是驗證流程的起點。

在一個設計良好的治理框架下，當 Agent 宣告成功時，系統的反應不應是直接結束任務，而應該是觸發一個自動化的驗證程序。這個程序會檢查來自 CURA 這類外部監控器的警報日誌。如果沒有警報，且關鍵的成功指標（例如，資料庫中出現一筆新訂單、或目標檔案的出現在指定位置）得到確認，任務才被正式標記為成功。

若存在警報，或成功指標未能滿足，系統就應自動將任務標記為「需要審查」，並將控制權交還給人類操作員。這個明確的人類介入點至關重要，它確保了最終的判斷權掌握在人類手中，而非一個過度自信的 AI 手中。這種方法類似於「NIST AI 風險管理框架」中強調的測試、評估、驗證與確認（TEVV）原則，將 AI 的主張視為需要證據支持的假設。

從長遠來看，這種基於外部驗證的治理模式，是建立可信任、可協作 AI 系統的基石。它讓我們能夠在享受 Agent 帶來自動化效益的同時，為其不可避免的失敗和錯誤設定一道堅實的防護網，確保系統的整體可靠性與安全性。

延伸閱讀

• CURA: Certified Runtime Alarms for Computer-Use Agents
• Stanford HELM: Holistic Evaluation of Language Models
• NIST AI Risk Management Framework

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。