Agent 的認知債務：為什麼更多推理，反而讓錯誤更難被推翻？

當 AI Agent 做錯一件事，我們通常期待它讀取錯誤訊息、重新思考，再換一條路。

但實際上，Agent 很可能不是「重新開始」，而是在原本的推理軌跡上繼續往前。前一次提出的假設、執行過的命令與對失敗的解釋，都留在上下文中。即使它說要改變方法，後續行動仍可能建立在同一個未經驗證的前提上。

這讓我開始思考：Agent 的風險可能不只是 hallucination 或工具呼叫失敗，而是它會累積一種「認知債務」（Epistemic Debt）——尚未驗證的假設，因為持續被後續決策引用，逐漸取得類似事實的地位。

失敗為什麼不是一個結果，而是一段歷史？

2026 年的論文 Failure as a Process: An Anatomy of CLI Coding Agent Trajectories 分析 7 個前沿模型、3 種 coding-agent scaffold 在 Terminal-Bench 上產生的執行紀錄。研究團隊從 3,843 條軌跡中篩選出 1,794 條完整軌跡，人工標註超過 63,000 個執行步驟。

研究的重要發現是：許多失敗主要由 epistemic error 驅動，而且在最初幾個步驟就已經出現，只是當時還沒有明顯報錯。等到最終測試失敗，真正的問題往往已不是最後一個動作，而是整條執行軌跡建立在錯誤的問題模型上。

例如，Agent 一開始假設服務運行在 Docker。接下來它搜尋 container、修改 compose file、嘗試重啟服務。即使主機上根本沒有對應 container，它也可能把這項反證解讀成「Docker 狀態異常」，而不是重新檢查最初的部署假設。

過去的狀態因此不只是歷史紀錄，它正在限制未來可以被考慮的行動。

什麼是 Agent 的「認知債務」？

軟體工程中的 technical debt，是現在選擇捷徑，將修復成本留給未來。Agent 的認知債務也有類似結構：

• 尚未驗證、卻被採用的環境假設
• 暫時忽略、沒有解釋的反證
• 由 Agent 自己推導，卻被當成外部事實的結論
• 被多次引用，但從未回到原始來源查核的記憶

一次未驗證假設不一定危險。真正的風險在於，後續有多少行動開始依賴它。

如果「服務運行在 Docker」只影響一次探索，它仍是一個低成本假設。但當它開始決定檔案搜尋、設定修改、重啟方式與部署判斷時，推翻它的成本就會快速提高。我把這個現象稱為「認知動量」（Epistemic Momentum）：假設不是因為獲得更多證據而變得可信，而是因為系統已經投入太多後續行動，越來越不願離開原本的敘事。

Agent 最危險的狀態，不是不知道答案，而是把尚未驗證的假設，累積成難以推翻的歷史。

為什麼一般的 self-reflection 還不夠？

要求 Agent「反省剛才哪裡做錯」看似合理，但反思仍可能由同一個模型、在同一段上下文中完成。

這時候，Agent 可能產生一段語意完整的檢討，卻沒有真正改變核心假設。它可以承認操作太快、參數不精確或驗證不足，接著仍然使用相同的因果模型重試。

真正的校正不能只看反思文字是否合理，而要回答三個可驗證問題：

1. 哪一個假設支持了這次行動？
2. 實際觀察是否符合原本預期？
3. 出現反證後，後續行動是否仍依賴同一假設？

這三個問題把注意力從 Agent 的自我解釋，移回外部可觀測的執行軌跡。

我如何把它加入 mk-agentos？

我在 mk-agentos 的 B-021 Corrective Trace 中加入了 Phase 2 offline shadow projection。它不推測模型內部「相信什麼」，也不會自動阻擋 Agent；它只處理 Agent 明確提出、並可由事件軌跡追蹤的 hypothesis candidate。

目前新增兩個 deterministic signal：

• Epistemic Debt Exposure：一個未驗證或已遭反證的假設，被多少後續 action 引用。
• Contradicted Hypothesis Persistence：出現 evidence-linked contradiction 後，Agent 是否仍使用該假設規劃行動。

事件模型則保留幾個關鍵邊界：

• hypothesis.declared 只能建立 candidate，不能升格成事實。
• hypothesis.contradicted 必須附上 Evidence Vault reference。
• hypothesis.revised 會重設反證後的 persistence window。
• progress.verified 只有 hook、observer 或 human 等外部來源，加上 evidence 才會被 projection 接受。
• Agent 自己宣稱「已有進展」，即使附上文字說明，也不能驗證自己的 progress。

所有 signal 目前仍是 enforcement: none。這點很重要：我們還沒有足夠的真實軌跡，證明這些指標能穩定區分錯誤動量與合理重試。在建立 blind labeling、legitimate-retry corpus 與跨專案樣本以前，直接接上 hard gate 只會製造另一種錯誤治理。

這對企業導入 Agent 有什麼意義？

企業監控 Agent 時，通常會關注成功率、成本、延遲與最終輸出。但如果失敗是一個逐步累積的過程，就還需要觀察「哪些未驗證假設正在取得下游影響力」。

這會影響至少三個治理面向：

• 安全：高風險操作不能只因 Agent 已經反思，就獲得再次執行的資格。
• 稽核：需要知道一項決策依賴哪些假設，以及反證何時出現。
• 記憶治理：未驗證假設不能因為被多次引用，就被寫成跨 session 的穩定知識。

可信任的 Agent 並不是永遠不犯錯，而是當自己的敘事與外部證據衝突時，能夠降低對舊假設的依賴，保留反證，並讓系統知道它還沒有資格繼續確信。

下一個問題也因此變得更具體：我們能否不依賴 Agent 的自我申報，量測一段軌跡中的不確定性是否真的下降？這會是 Corrective Trace 從重複偵測，走向可驗證校正機制的下一步。

延伸閱讀

• Failure as a Process: An Anatomy of CLI Coding Agent Trajectories
• Large Language Models Cannot Self-Correct Reasoning Yet
• Do LLMs Catch Their Own Mistakes? A Comprehensive Benchmark for Reflective Tool Use LLMs

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。