AI 架構的岔路：我們該停止將事實塞入模型，走向推論與知識解耦

近期 VibeThinker-3B 的研究成果，為 AI 系統設計帶來一個關鍵啟示：推論能力與事實知識，本質上是兩種截然不同的資源。前者可以被高度壓縮成高效的運算核心，後者則需要廣泛的參數空間，更適合外部化、可檢索的儲存。這項發現挑戰了我們過去將兩者混為一談的慣性思維。我認為，將推論與知識徹底解耦，把模型專注於打造為純粹的「推論引擎」，而非臃腫的「萬事通」，才是通往更高效、可治理且具備長期演進能力的 AI 系統的正確道路。

這個判斷的起點，來自微博 AI Lab 七月初發布的一篇論文 《VibeThinker: A Vibe-Based Reasoning Model》。這篇論文最引人注目的，莫過於它揭示的一種驚人「不對稱性」。VibeThinker-3B 是一個僅有 31 億參數的小型模型，卻在數學（GSM8K）與程式碼生成（HumanEval）等需要複雜邏輯推理的任務上，達到了與 Llama3-70B 或 Qwen1.5-72B 這類 700 億參數級巨型模型相當的水平。

然而，一旦場景切換到需要廣泛世界知識的問答（MMLU），它就顯著落後。這種表現上的巨大反差，不僅僅是一個有趣的實驗結果，它直接指向了 AI 認知架構的一個根本性問題：我們是否誤解了模型學習知識的方式？

為什麼小型模型能展現強大的推論能力？

VibeThinker 論文的核心洞見，藏在一句簡潔的論述中：「推論可以被壓縮到少數的遞迴結構中，但知識需要廣泛的參數覆蓋，因此無法壓縮。」這句話解釋了前述的不對稱性。數學、邏輯、程式設計等領域的「推論」，其本質是辨識模式、應用規則、並進行結構化符號操作的能力。這些能力更像是一種演算法或可重複的程序，而非龐雜的事實集合。因此，它們可以被「壓縮」並有效地編碼到一個相對較小的參數空間內。

這並非孤例。我們在微軟的 Phi-3 系列模型中也看到了類似的趨勢。這些「小型語言模型」（SLMs）透過高品質、經嚴格篩選的「教科書等級」資料進行訓練，同樣在小體積下實現了令人印象深刻的推理表現。這證明了只要訓練資料的「認知密度」足夠高，模型就能學會通用的推理結構，而不需要記住網路上所有的貓咪圖片或歷史事件。這也與學術界對語言模型「組合性」（Compositionality）的研究不謀而合，強調模型理解並組合基本概念的能力，而非單純的記憶 《Measuring and Narrowing the Compositionality Gap in Language Models》。

推論能力的核心是識別與應用抽象規則，這種能力可以被高效地學習與儲存；而事實知識則更接近一個龐大且不斷擴張的鍵值資料庫，用模型參數去硬背，本質上就是一種低效率的壓縮儲存。

知識的儲存成本為何如此高昂？

相較於可壓縮的推論結構，事實知識（Factual Knowledge）有幾個根本性的特點，使其難以被有效率地儲存在模型參數中。首先，知識是廣泛、零散且高度任意的。地球到太陽的距離、台灣最高的山、2023 年的奧斯卡最佳影片，這些事實之間缺乏內在的邏輯關聯，只能透過暴力記憶來儲存。

其次，知識是動態變化的。新的科學發現、政治事件、財經數據每天都在發生，試圖將這些不斷變動的資訊「微調」進一個靜態的模型參數集裡，不僅成本高昂，也容易導致災難性遺忘（catastrophic forgetting）。

將事實強行塞入模型的另一個嚴重後果是「幻覺」（hallucination）。當模型試圖從其參數化知識中「回憶」一個它不確定或不知道的事實時，它往往會基於統計上的可能性，生成一個看似合理卻完全錯誤的答案。這使得模型的可靠性大打折扣，尤其是在需要高度準確性的專業領域。

這正是為何自 2020 年 Retrieval-Augmented Generation (RAG) 的概念被提出後，迅速成為業界主流架構。RAG 的核心思想，就是承認模型不應該是所有知識的載體，而應該是一個懂得如何「查找資料」的推理者。它將知識儲存的任務，從模型內部（parametric knowledge）轉移到了外部可信的資料庫（source knowledge）。

解耦推論與知識：一個更可治理的 AI 認知架構

VibeThinker 的實驗結果，為我們擘劃了一個更清晰的 AI 系統設計藍圖：將推論引擎與知識庫徹底解耦。在這個架構下，AI 系統被拆解成兩個獨立但協作的元件：

• 高效推論引擎（Reasoning Engine）：這是一個相對小巧、專注的模型，類似 VibeThinker-3B。它的訓練目標不是記住全世界，而是精通語言的語法、邏輯結構、因果關係與解決問題的通用模式。它負責理解使用者意圖、拆解複雜問題、規劃執行步驟、並根據外部資訊生成最終答案。
• 外部化知識庫（Externalized Knowledge Base）：這可以是向量資料庫、傳統 SQL 資料庫、企業內部文件系統，甚至是即時的 API 服務。它負責儲存所有需要被引用的事實知識。這個知識庫是可驗證、可更新、可管理的。

這種解耦的架構帶來了幾個顯著的優勢。首先是「可治理性」（Governability）。我們可以精確控制 AI 能接觸到的知識範圍，確保其回答基於可信的、最新的來源，而不是模型內部不可預測的「記憶」。其次是「可更新性」。當知識需要更新時，我們只需修改外部資料庫，而無需重新訓練或微調整個模型，這大大降低了維護成本。最後是「效率與可追溯性」。小型推論引擎的運行成本更低，而所有引用到的知識都有明確的來源，使得事實查核與錯誤修正變得簡單直接。

總結來說，VibeThinker-3B 的啟示，遠不止於「小模型也能很強大」。它更像一個分水嶺，提醒我們應該停止追求一個無所不知、卻也因此臃腫不堪、難以信任的「神諭模型」。真正的下一步，是將模型的回歸其核心價值——強大的通用推理能力，並圍繞這個核心，建立一個開放、可控、持續演進的外部知識生態。

這不僅是技術上的選擇，更是通往可信任、可解釋，並能與人類社會長期協作的 AI 未來的必經之路。

延伸閱讀

• VibeThinker: A Vibe-Based Reasoning Model (arXiv)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv)
• Phi-3: Redefining what’s possible with small language models (Microsoft Research)
• Measuring and Narrowing the Compositionality Gap in Language Models (arXiv)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。