觀測不應只為驗證：如何用紮根理論挖掘 AI Agent 的未知行為模式

成熟的 Agent observability 不該只檢查預先定義的錯誤，而要能從 trace 中歸納尚未命名的失敗模式。將紮根理論導入行為分析，使觀測從被動儀表板變成研究工具；它能發現治理盲點，並讓系統改進建立在真實行為證據上。

為什麼現有的 Agent 觀測系統總是在追著問題跑？

目前主流的 Agent 觀測實踐，大多遵循一種「由上而下」的邏輯。我們首先定義一系列已知的失敗模式，例如：幻覺（Hallucination）、工具使用錯誤（Tool Misuse）、目標漂移（Goal Drift）或惡意指令注入（Prompt Injection）。接著，我們訓練分類器或設計規則來識別這些特定類別，並將結果呈現在儀表板上。當某個指標異常飆升時，團隊再介入處理。

這個方法很直觀，也是必要的起點，但它有著根本性的盲點：我們只能找到我們已經知道要找的東西。

這就像一套只懂得識別已知病毒的防毒軟體，對於零時差攻擊（Zero-day attack）束手無策。在 Agent 行為日益複雜、與真實世界互動愈加頻繁的今天，新的、未曾預料的失敗模式層出不窮。如果我們的觀測系統只能被動地等待我們為新的失敗類型手動添加標籤與分類，那它就永遠只能扮演一個追趕問題的落後角色，而不是一個主動發現風險的預警系統。

從社會科學借鏡：什麼是紮根理論（Grounded Theory）？

要突破這個困境，我們需要一種「由下而上」的探索性方法。有趣的是，答案或許隱藏在社會科學的質性研究方法中。1967 年，社會學家 Barney Glaser 與 Anselm Strauss 提出了紮根理論（Grounded Theory），主張理論應該「紮根」於資料本身，而非先入為主地套用現有框架。

研究者不是帶著一個待驗證的假說進入田野，而是透過對訪談、觀察紀錄等原始資料進行開放式編碼（Open Coding）、主軸編碼（Axial Coding）與選擇性編碼（Selective Coding）的迭代過程，讓概念、類別與理論從資料中自然浮現。這套方法的核心精神，是承認研究者在初期對現象的理解可能是不完整的，並提供一套嚴謹的流程來系統化地探索未知。

Grounded Theory is an inductive methodology. It is a systematic generation of theory from data that itself is systematically obtained from social research. — Barney G. Glaser

這種思維，恰好能彌補當前 Agent 觀測系統的不足。如果我們將 Agent 的行為軌跡（trace）——包含其內心獨白（Chain of Thought）、工具調用、環境回饋與最終決策——視為一份份等待分析的「田野筆記」，是否也能從中「紮根」出一個更貼近現實的行為分類體系？

如何將紮根理論應用於 Agent 行為分析？

最近在 arXiv 上出現的一篇論文《Using Grounded Theory for Agent Behavior Analysis at Scale》便朝這個方向邁出了重要一步。研究者提出了一個名為 AutoTraceGT 的框架，嘗試將紮根理論的核心流程自動化，應用於大規模 Agent 軌跡的分析。

這個框架的運作方式大致如下：

• 開放式編碼 (Open Coding)： 利用大型語言模型（LLM）作為分析工具，讀取每一條原始的 Agent 互動軌跡，並為其中的關鍵行為步驟生成簡潔的描述性標籤（codes）。例如，一條軌跡可能被標上「重複查詢同一 API」、「忽略使用者澄清」、「錯誤解析 JSON 回應」等標籤。
• 主軸編碼 (Axial Coding)： 接著，系統會對第一階段產生的數千個標籤進行聚類，將語意相近、本質相同的標籤組合成更高層次的概念（concepts）。例如，「重複查詢」和「無效 API 呼叫」可能被歸入「無效的工具互動」這個概念下。
• 選擇性編碼 (Selective Coding)： 最後，系統會識別出核心類別（core categories），並建立它們之間的關係，最終形成一個完整的行為分類體系（taxonomy）。這個體系是直接從 Agent 的實際行為中歸納而來，而非人為預設。

該研究指出，透過 AutoTraceGT 分析超過 100,000 條互動軌跡後，自動生成的分類體系不僅涵蓋了已知的失敗模式，更識別出了數個先前未被注意到的新模式，例如一種「過度矯正偏見」（over-correction bias）的行為——Agent 在被提醒避免某種錯誤後，會在不相關的情境中過度泛化該規則，導致新的錯誤。這種由下而上的探索，讓觀測系統從單純的「驗證工具」蛻變為「研究工具」。

發現新模式，如何助益 AI 系統的智慧治理？

將紮根理論的思維導入 Agent 觀測，其意義遠不止於技術本身。這代表著我們對 AI 系統治理（AI Governance）的態度轉變。

首先，這讓我們有能力應對「認知多樣性」（Cognitive Diversity）帶來的挑戰。當我們部署由不同模型、不同架構、不同提示策略組成的 Agent 族群時，它們的行為模式與潛在弱點必然是多樣的。一套固定的分類法很難一體適用。一個能夠動態生成、適應特定 Agent 行為模式的觀測系統，將是實現精細化、差異化治理的基礎。

其次，這讓我們能更早地發現系統性的治理盲點。許多嚴重的 AI 安全事故，源頭往往是我們從未想過的「攻擊向量」或「失敗級聯」（cascading failures）。一個能夠主動標示異常行為簇群、提示分析師「這裡有些奇怪，但我們還不知道該怎麼稱呼它」的系統，能極大地縮短我們從「未知威脅」到「已知風險」的反應時間。

最終，這關乎信任。一個可信任的 AI 系統，不僅僅是在已知場景中表現可靠，更在於我們有信心去理解和管理它在未知場景中的行為。將我們的觀測系統從一個答案檢查器，升級為一個問題發現者，正是建立這種深度信任的關鍵一步。我們需要的不只是盯著儀表板的工程師，更是手持強大探索工具的數位人類學家。

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。