AI 可解釋性的下一步：從輸出解釋到建立內部機制地圖

如果 AI 可解釋性（Explainability）要成為真正的基礎設施，就不能只停留在對模型「輸出層」的事後說明。真正的關鍵突破，在於我們能否深入模型內部，繪製出一張清晰、可追蹤、可檢驗的「機制地圖」（mechanism map）。最近 OpenAI 發表的一篇關於用大型語言模型解釋神經元功能的研究，正是朝這個方向邁出的重要一步。這項研究展示了一種規模化的方法，讓我們得以窺見模型內部數十萬個神經元各自扮演的角色。這為建立更安全、更可靠的 AI 系統，提供了前所未有的可能性。

為什麼「事後解釋」遠遠不夠？

過去，許多可解釋性工具，如 LIME 或 SHAP，多半將模型視為一個黑盒子。它們擅長回答「為什麼模型針對這個輸入，會給出那個輸出？」這類問題。這種方法在單點除錯上很有用，但它有根本性的限制：它本質上是反應式（reactive）的，無法建立對模型內部運作的系統性、累積性理解。

當我們建構複雜的 AI 系統時，我們需要的不是事後諸葛。我們需要的是一套能主動（proactive）檢驗、監控、甚至指導模型行為的基礎設施。這就好比維護一座核電廠：我們不能只在警報響起後才去追查原因。相反地，我們需要一張完整的管線圖與儀表板，隨時監控每個閥門與零件的狀態。在 AI 領域，這張圖就是模型的內部機制地圖，而這正是「機制可解釋性」（Mechanistic Interpretability）這個領域試圖解決的核心問題。

OpenAI 如何用 AI 繪製 AI 的神經元地圖？

OpenAI 的研究提供了一種極具潛力的方法來自動化繪製這張地圖。他們的核心思路是：用一個更強大的模型（GPT-4），去解釋一個較小模型（GPT-2 small）中每個神經元的具體功能。整個流程大致如下：

• 生成解釋：研究人員會向 GPT-4 展示特定神經元被高度激活的文本段落，要求 GPT-4 用自然語言總結出激活該神經元的模式。例如，某個神經元可能在文本提到「漫威電影宇宙」或「程式碼中的 `import` 語句」時被激活。
• 模擬與評分：接著，他們讓 GPT-4 扮演「模擬器」的角色。GPT-4 僅根據其自身生成的「文字解釋」，預測在新的文本中，該神經元是否會被激活。
• 驗證準確性：最後，他們比較 GPT-4 的模擬結果與神經元在 GPT-2 中的真實激活情況。如果兩者的結果高度一致（研究中定義的評分超過 0.8），就代表這段文字解釋是準確且有效的。

透過這個方法，他們成功為 GPT-2 small 模型中的全部 307,200 個神經元都生成了解釋與評分。結果相當驚人，許多神經元展現出非常具體且人類可理解的功能，涵蓋了從特定地點（烏克蘭）、人物（伊隆・馬斯克）到抽象概念（浪漫關係中的緊張感）的廣泛主題。

這種方法的價值在於，它將解釋的焦點從「模型說了什麼」轉移到「模型內部的某個零件是如何運作的」。這是一種根本性的視角轉變。

這張「地圖」對建立 AI 基礎設施有什麼意義？

繪製出這樣一張神經元功能地圖，不僅僅是滿足學術上的好奇心，它對建構可靠的 AI 系統具有深遠的實務意義。一個清晰的內部機制地圖，意味著我們能擁有：

• 可追蹤性（Traceability）：當模型出現有害或偏頗的輸出時，我們不再只能猜測，而是有機會追溯到是哪些具體的內部神經元（代表著某些特定概念）被異常激活所導致的。
• 可檢驗性（Verifiability）：我們可以在模型部署前，主動檢查它是否學習到了某些不該學習的概念。例如，我們可以檢查是否存在與特定偏見或危險知識相關的神經元，並嘗試在不影響模型整體性能的前提下，「關閉」或修正它們。
• 可累積性（Cumulativeness）：對一個模型內部機制的理解，可以幫助我們更快地分析新模型。我們可以比較不同版本或不同架構的模型，是如何表達同一個概念的，從而加速安全對齊（alignment）的研究。

當然，這條路依然充滿挑戰。最主要的一個障礙是「多義性」（Polysemanticity），也就是單一神經元可能同時負責多個毫不相關的概念，使得解釋變得困難。此外，如何將這套方法從 GPT-2 這樣的小模型，擴展到擁有數萬億參數的前沿模型，也是一個巨大的工程問題。

值得注意的是，這並非唯一的研究路徑。另一個重要的方向是「字典學習」（Dictionary Learning），例如 Anthropic 的研究試圖從神經元活動中分解出更純粹、更單一的「單義性特徵」（Monosemantic Features），這可以視為另一種強大的內部地圖繪製工具，與 OpenAI 的方法形成互補。最近的研究也顯示了其規模化的潛力。

無論最終哪條路徑會成為主流，目標都是一致的：我們必須打開 AI 的黑盒子。OpenAI 的這項研究，為我們提供了一把強力的鑰匙，讓我們能系統性地、規模化地去描繪模型內部的認知結構。這不僅是可解釋性研究的一大勝利，更是未來 AI 基礎設施不可或缺的一塊基石。

延伸閱讀

• Language models can explain neurons in language models
• Towards Monosemanticity: Decomposing Language Models With Dictionary Learning
• Toy Models of Superposition

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。