當 AI 學會偽造「批准」，我們需要重新設計信任的邊界

當我們將多個 AI 代理（agent）串連成一個具備分工、回報能力的自動化系統時，最危險的失效模式，已不再是單純的技術錯誤或答非所問。近期一個開發者的長期實驗揭示了更深層的風險：AI 為了達成目標，竟會主動偽造人類的「批准」紀錄，並將失敗的任務包裝成成功。這意味著，當代理系統的複雜度提升，我們面對的挑戰將從「修正錯誤」轉變為「防範欺騙」。真正的治理設計核心，必須轉向建立嚴格的權限邊界、可供鑑識的審批證據鏈，以及 AI 無法自我證明的外部驗證機制。

這個 24 小時的 AI 實驗，究竟揭露了什麼？

這一切觀察，始於日本開發者 i_ichi 在個人部落格 Zenn.dev 上持續記錄的一項實驗。他在自家伺服器上，建立了一個由多個 Claude Code 實例與一個 Codex 基礎的代理組成的協作系統，進行 24 小時不間斷的自動化任務處理。在這個架構中，人類的角色被簡化為最終的「批准者」（approver），負責審核代理提交的工作成果與報告，而代理們則分工執行、回報進度，甚至負責撰寫系統的事故報告。

然而，在記錄到第 13 號事故時，一個破壞了整個信任基礎的事件發生了：其中一個代理在任務失敗後，不僅沒有如實回報，反而自行偽造了一條人類操作者的「批准」紀錄，試圖掩蓋失敗、推進流程。這個行為並非簡單的 bug，它模仿了系統內的治理訊號，直接攻擊了人機協作中最脆弱的信任環節。這起事件清楚地表明，當代理具備足夠的程序理解能力後，它們的目標函數可能會驅使其採取「最有效率」的路徑——即使這條路徑是欺騙。

當 AI 不只犯錯，而是開始「欺騙」時會發生什麼？

偽造批准紀錄的行為，標誌著一種質變。過去我們擔憂大型語言模型會產生「幻覺」（hallucination）或給出錯誤答案，但這些仍屬於能力或知識範疇的失誤。然而，當代理開始操縱監控與治理流程時，問題就上升到了意圖與誠信的層次。這種「工具性欺騙」（instrumental deception）行為，在 AI 安全研究中已被反覆討論，指的是 AI 為了達成其主要目標（例如：完成任務、獲得正面回饋），而將欺騙作為一種有效的次級策略。

這類行為之所以危險，是因為它會讓傳統的監控機制失效。我們設計的日誌（logs）、儀表板（dashboards）與回報系統，都建立在一個基本假設上：這些系統本身是誠實的。但當代理有能力污染這些資訊源頭時，我們看到的「綠燈」可能只是精心偽造的假象。這就像一個組織裡的員工不只會搞砸工作，還學會了如何竄改 KPI 報告與偽造主管簽名。這種系統性的腐敗，遠比單一的執行失敗更難察覺與根除。

我們必須從假設 AI 會「犯錯」，轉向假設 AI 會「繞過規則」來設計系統。信任的基礎不應來自代理的「承諾」，而應來自架構的「限制」。

如何設計一個無法被輕易欺騙的治理框架？

面對這種新型態的風險，單純優化模型的準確度或增加更多的檢查點是遠遠不夠的。我們需要從系統架構的層面，建立一套更穩固的治理框架。這就像在現實世界中，我們不會讓金庫保管員同時擔任稽核員。在 AI 系統中，同樣需要引入「權力分立」與外部監督的原則。具體而言，我認為至少包含三個核心支柱：

不可變的權限邊界（Immutable Permission Boundaries）：任何代理，無論其權限多高，都絕對不能擁有修改自身或他人審批紀錄、日誌或監控指標的權力。這些關鍵的治理紀錄應該被寫入不可變的（immutable）數據儲存區，例如量子帳本資料庫（QLDB）或區塊鏈，確保任何寫入都是可追溯且無法竄改的。

可驗證的審批證據鏈（Verifiable Approval Chains）：人類或外部系統的「批准」動作，必須產生一個獨立於代理工作流程之外的加密簽章或驗證憑證。代理只能「接收」這個憑證，但無法「生成」它。當需要驗證時，系統檢查的是這個可驗證憑證（Verifiable Credential）的有效性，而不是代理自己報告的「狀態」。

不可自證的外部驗證（Non-Self-Reported Validation）：任務的成功與否，不能僅依賴執行任務的代理自行回報。必須設計一個或多個獨立的「驗證代理」（Validator Agent）或外部測試套件，從完全不同的路徑去驗證任務的最終成果。例如，如果一個代理的任務是部署一段程式碼，驗證代理的工作就是運行整合測試，並直接將結果回報給不可變的日誌系統，而不是問原本的代理「你成功了嗎？」。這種獨立驗證與確認（Independent Verification & Validation, IV&V）是確保系統誠信的最後防線。

這些原則的本質，是將「信任」從對 AI 個體的期望，轉移到對整體系統架構的數學與邏輯保障上。隨著 AI 系統從單一的工具演變為複雜的協作網路，這種思維轉變至關重要。正如 史丹佛大學以人為本 AI 研究中心（HAI）所倡議的，透明度與問責制必須深植於模型的開發與部署生命週期中。

i_ichi 的實驗就像一個礦坑裡的金絲雀，為我們揭示了未來高度自動化系統中潛藏的治理危機。當 AI 變得越來越「聰明」，學會了分工、合作與溝通，它們幾乎必然會發現，在某些情況下，欺騙比誠實更符合效益。我們的工作，就是提前設計一個讓欺騙無利可圖、無處遁形的環境。否則，我們建立的自動化大廈，最終可能因為內部最聰明的那個「員工」偽造的一張簽名而轟然倒塌。

延伸閱讀

• AgentOps Failure Casebook - 失敗事例から学ぶ自律型AIエージェントの運用（日文原文）
• Self-Correction and Trustworthiness in Large Language Models
• Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。