AI Agent 治理的藝術：在自動化與人為審批之間設計信任邊界

在打造能夠自主執行任務的 AI Agent 時，我們很容易陷入一個迷思：認為最理想的狀態是徹底移除所有的人工確認環節，實現「全自動化」。然而，我的觀察是，真正高效且可信任的 AI Agent 權限管理，其核心不在於消除所有摩擦，而在於設計一道清晰且智慧的「邊界」。這道邊界區分了哪些是可預期、低風險、應被自動化的路徑，哪些則是高風險、需人類介入審批的例外。這種兼顧速度、責任與安全的治理框架，才是我們建構長期、可信賴 AI 協作關係的基石。

近來在研究 Anthropic 的開發者工具 Claude Code 時，我注意到一個非常具代表性的設計細節：它在執行工具（Tool use）前，預設會跳出「承認しますか？」（您批准嗎？）的確認提示。對於追求效率的開發者來說，這類提示很容易被視為阻礙，直覺反應便是尋找一個「一鍵關閉」的選項。這也將我們帶到了 Agent 治理的核心議題：我們應該如何看待並管理這些「摩擦點」？

為什麼盲目追求全自動化是危險的？

Claude Code 確實提供了一個看似能解決問題的捷徑：--dangerously-skip-permissions 旗標。啟用後，Agent 會跳過大部分的執行確認，直接操作。但關鍵在於「dangerous」這個詞，它本身就是一個警示。Anthropic 的設計者很清楚，無限制的自動化潛藏著巨大風險。

因此，即便在這個「危險模式」下，Anthropic 依然內建了幾道保險機制。首先，它從根本上杜絕了 Agent 獲得過高系統權限的可能性，此模式無法在 root 或 sudo 權限下啟動。其次，即使在跳過模式下，對於某些被判定為高風險的操作，例如涉及敏感檔案或關鍵指令，系統仍可能保留安全確認機制，確保核心安全不被犧牲。

這個設計體現了一個重要的治理原則：便利性不能以犧牲核心安全為代價。盲目地移除所有檢查點，相當於放棄了系統的容錯能力與操作的可預測性。當 Agent 的行為出現微小偏差，或對指令的理解產生「幻覺」時，一個缺乏審批邊界的系統可能會在短時間內造成難以挽回的後果。這不僅是單一工具的設計考量，也呼應了更廣泛的 AI 安全研究，如針對大型語言模型自主代理的風險分析所強調的，無監督的工具使用是主要的風險來源之一。

真正的效率，來自於可預測的系統，而非不受控的速度。

我們該如何設計兼顧效率與安全的權限系統？

與其使用一刀切的危險旗標，更成熟的做法是深入理解其權限判定的邏輯，並利用工具提供的組態來設計精細化的規則。根據開發者るり（Ruri）的分析，Claude Code 的權限決策遵循一個明確的優先序：deny > ask > allow。這意味著「拒絕」規則的優先級最高，其次是「詢問」，最低是「允許」。

理解了這套優先序，我們便能更有策略地客製化「自動化與審批邊界」。主要有兩種方式可以實現精細化的權限管理：

1. 靜態規則設定 (settings.json)： 我們可以在設定檔中明確定義 allow 和 deny 清單。這非常適合處理那些我們百分之百確定其安全性的高頻操作。例如，我們可以設定永遠允許執行 ls、cat 或 git status 等讀取型指令，同時永遠拒絕 rm -rf 或修改系統配置的指令。這就把大量重複、安全的確認自動化了，同時鎖死了已知的危險路徑。
2. 動態邏輯掛鉤 (PreToolUse Hooks)： 對於那些需要根據上下文判斷的複雜情境，靜態規則就不夠了。PreToolUse 掛鉤允許我們在工具執行前，注入一段自訂的程式碼邏輯。例如，我們可以設計一個規則：「如果 Agent 試圖執行的 shell script 將修改超過 5 個檔案，則觸發人工確認；否則自動批准。」這種動態的、基於情境的審批機制，提供了遠比開關更靈活的治理能力。

這種分層的治理方法，讓我們能將精力集中在真正需要人類判斷的灰色地帶，而不是浪費在無數次的「是/否」選擇上。這也符合美國國家標準暨技術研究院（NIST）的 AI 風險管理框架中，對於「治理（Govern）」與「測量（Measure）」的強調——我們需要建立清晰的政策，並有能力監控與評估 AI 系統的行為。

從權限管理看 Agent 治理原則

從 Claude Code 的這個小功能放大來看，我們可以看到一個更宏觀的 AI Agent 設計哲學。過去我們談論人機互動（Human-Computer Interaction），而現在我們正進入一個需要定義「人與代理（Agent）協作契約」的時代。這個契約的核心，就是信任與責任的邊界。

一個設計良好的 Agent 治理系統，應該將權限管理視為一個連續的光譜，而非一個二元的開關。光譜的一端是完全的自動化，適用於高度結構化、低風險的任務；另一端則是完全的人工操作，保留給高風險、高模糊性的決策。而絕大多數的協作都發生在光譜的中間地帶，這正是精細化規則與動態審批發揮價值的地方。這也是人機迴圈（Human-in-the-Loop）理念在現代 AI 系統中的具體實踐。

最終，我們的目標不是打造一個不需要我們監督的 Agent，而是打造一個其行為邊界清晰、決策路徑可追溯、讓我們能放心賦予其自主性的合作夥伴。透過設計而非移除「摩擦」，我們才能在釋放 AI 潛力的同時，確保系統的穩定、安全與可控。

延伸閱讀

• Claude Codeのツール実行権限の仕組みと安全な設定方法 by るり
• Anthropic Official Documentation: Tool Use
• A Survey on Large Language Model based Autonomous Agents (arXiv)
• NIST AI Risk Management Framework

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。