「可觀測性」是 AI Agent 治理的最後防線：為何標準化日誌是信任的基礎
當 AI Agent 具備自主決策與跨系統操作能力，傳統日誌已無法有效監控其複雜行為。本文將深入探討，為何將 Agent 的操作歷程標準化為「可觀測數據」，是我們防範權限濫用、供應鏈攻擊，並建立可信任 AI 系統的關鍵第一步。這不僅是技術挑戰，更是確保 AI 可控、可治理的戰略佈局。
隨著 AI Agent 從單純的聊天機器人演進為能夠自主規劃、串連多種工具的複雜系統，我們正迎來一個治理上的關鍵挑戰。當一個 Agent 能同時操作本地檔案系統、呼叫外部 API、甚至執行程式碼時，傳統分散、格式不一的日誌（log）已無法有效監控其行為。我認為，我們必須將 Agent 的操作日誌提升到「可觀測性」（Observability）的層次，建立一個標準化、可追蹤、可關聯的數據底座。這不僅是為了事後審計，更是防範權限濫用、外部工具污染與供應鏈攻擊，確保 AI 系統可信任、可治理的根本前提。
當 AI Agent 成為跨系統的「超級使用者」，傳統日誌為何會失效？
最近一篇日本開發者的文章，分享了他試圖為 Anthropic 的 Claude Code 建立審計日誌的經驗，這個案例恰好點出了問題的核心。開發者希望記錄 Claude 在執行任務時所有 Bash 工具的調用歷史，以確認是否有未經授權的指令被執行，例如，即使在設定檔 settings.json 中透過 permissions.deny 限制了某些指令，也難保沒有疏漏。
這個看似單純的需求，反映了當前 Agent 架構的普遍困境。Agent 的每一次操作，都可能是一次跨越系統邊界的行為。它可能先讀取本地文件，接著呼叫一個外部資料庫 API，再根據回傳結果，利用某個開源函式庫進行運算，最後將結果寫入另一個雲端服務。這個過程橫跨了本地環境、私有雲、第三方 SaaS，甚至開源軟體供應鏈。
然而，傳統的日誌系統，往往只記錄了各個孤立節點的事件。我們得到的，只是一堆破碎的「犯罪現場照片」，卻沒有一條清晰的「犯罪時間線」。
在這種情況下，要回答以下關鍵治理問題變得極其困難：
- 權限濫用：Agent 是否使用了超出其任務範圍的權限？例如，一個只需要讀取資料的 Agent，是否曾試圖執行寫入或刪除操作？
- 供應鏈攻擊：Agent 調用的外部工具或 API 是否被植入惡意程式碼？如果一個第三方 Python 套件被污染，我們如何快速追蹤它影響了哪些 Agent、哪些任務、以及哪些數據？這正是 OWASP LLM Top 10 中提到的「不安全的插件設計」風險。
- 錯誤歸因：當系統出現異常時，我們如何判斷問題是源於 Agent 的決策邏輯、外部工具的 bug，還是底層基礎設施的故障？
若沒有一個統一的視圖來串連這些分散的事件，我們就無法有效地進行風險控管與事後追責。
如何將零散的操作紀錄，轉化為可治理的觀測數據？
前述開發者提出的解法，是採用 OpenTelemetry (OTel) 這個開源標準來收集 Agent 的事件日誌。我認為這是一個極具洞見的方向，因為它不僅解決了單一的審計需求，更為建立一個完整的 Agent 可觀測性平台奠定了基礎。
OpenTelemetry 的核心價值在於提供了一套橫跨日誌（Logs）、指標（Metrics）、與追蹤（Traces）的統一數據規範與工具集。它讓開發者能以標準化的方式，從應用程式的各個角落收集遙測數據。在 Agent 的情境下，這意味著我們可以：
- 定義標準化的 Agent 事件：將 Agent 的每個關鍵行為，如「開始規劃」、「選擇工具」、「調用 API」、「解析回傳值」、「最終回應」等，都定義為一個標準化的 Span（追蹤中的一個工作單元）。
- 注入上下文脈絡（Context Propagation）：為每一次完整的任務執行，產生一個獨一無二的 Trace ID。這個 ID 會貫穿整個執行鏈，從 Agent 的大腦到它調用的每一個外部工具，確保所有相關的日誌與事件都能被串連起來。
- 建立統一的數據管道：透過 OTLP/gRPC 等標準協議，將這些結構化的數據發送到一個中央收集器（Collector），再由收集器統一分發到後端的儲存、分析與監控系統，例如 Elasticsearch、Prometheus 或 Jaeger。
這種作法的思維轉變是：我們不再只是被動地「記錄」發生了什麼，而是主動地「檢測」（instrument）Agent 的行為，將其轉化為富含上下文、可查詢、可關聯的結構化數據。
如此一來，過去那些零散的日誌，就從單純的文字紀錄，轉變為能夠描繪出 Agent 完整行為路徑的「分散式追蹤」圖譜。
統一觀測層如何強化 AI Agent 的治理與防禦能力？
當我們擁有這樣一個基於 OpenTelemetry 的統一觀測層後，其價值便遠遠超出了單純的日誌審計。它成為了實現 AI Agent 治理的共同底座。
首先，它極大化了事後追責與根本原因分析（Root Cause Analysis）的能力。假設一個 Agent 執行出錯，導致客戶數據被誤刪。維運團隊不再需要在數十個服務的日誌中大海撈針，而是可以直接透過 Trace ID，拉出從使用者請求開始，到 Agent 決策，再到最終執行資料庫刪除指令的完整調用鏈。鏈上的每一個環節，包括 API 請求的參數、回傳的狀態碼、執行的程式碼片段，都一目了然。
其次，它讓我們能夠建立即時的異常偵測與告警機制。我們可以設定規則來監控高風險行為，例如：一個 Agent 在 1 分鐘內調用 `sudo` 指令超過 3 次、一個標記為「唯讀」的 Agent 試圖呼叫寫入 API、或是一個 Agent 開始與一個從未互動過的外部網域進行通訊。這些模式在傳統日誌中難以察覺，但在結構化的追蹤數據上卻能輕易實現自動化監控。
更重要的是，這為防範日益猖獗的供應鏈攻擊提供了關鍵防線。例如，研究顯示，透過間接提示注入（Indirect Prompt Injection），攻擊者可以污染 Agent 讀取的外部文件或網頁，進而操控其行為。如果我們能夠追蹤 Agent 的每一個資訊來源與工具調用，一旦發現某個外部 API 或開源套件出現漏洞，就能夠立即查詢其「爆炸半徑」，找出所有受影響的 Agent 執行實例，並快速採取應對措施。
從 Anthropic 官方文件中對工具使用（Tool Use）的設計，到整個業界對 Agent 安全性的探索，都指向一個共同的結論：自主性必須與可控性並行。將 Agent 的行為日誌標準化、可觀測化，正是串起這兩者的橋樑。這不僅是一個技術選擇，更是我們在打造可信任 AI 系統時，必須做出的戰略佈局。
延伸閱讀
- OpenTelemetry を利用して Claude Code のイベントログを収集してみた (原始參考案例)
- What is OpenTelemetry? (官方文件)
- OWASP Top 10 for Large Language Model Applications (AI 安全風險框架)
- Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (學術論文)
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。