大型語言模型是在「理解」還是在「作弊」？從 Symbol Tuning 看見 AI 推理能力的真相

當我們看到大型語言模型（LLM）能夠解決複雜的邏輯問題、遵循多步驟指令時，很容易產生一種印象：它「理解」了我們的要求。但我認為，在許多情況下，這更像是一種基於龐大數據訓練出的高明「作弊」。模型並非真正學會了指令背後的抽象規則，而是找到了一條「語義捷徑」（semantic shortcut），利用它在訓練數據中早已存在的知識來猜測答案。

要驗證模型真正的推理與泛化能力，我們必須拿走這些捷徑。Google 的一篇研究提出的「符號調優」（Symbol Tuning）方法，正是這樣一面照妖鏡，它揭示了要建構真正可靠的 AI 系統，關鍵在於如何設計任務來消除模型投機取巧的空間。

為什麼模型看似遵循指令，卻常常在關鍵時刻「走捷徑」？

語言模型的核心是基於機率的模式匹配。當你給它一個上下文（in-context）學習的範例，例如「A 的反義詞是 B」，然後問它「C 的反義詞是什麼？」，模型很可能不是當場學會了「反義詞」這個抽象概念。更有可能的是，它在數兆 token 的訓練數據中，早就見過「C」和「D」這對詞彙經常以對立的形式出現。它給出正確答案「D」，靠的是記憶和關聯，而非即時的邏輯推理。

這種依賴先驗知識的行為，就是所謂的「語義捷徑」。在標準的基準測試下，這種捷徑往往能讓模型獲得不錯的分數，因為多數測試題目的設計本身就存在於模型的知識範圍內。

然而，一旦任務需要真正的規則遵循與分佈外泛化（out-of-distribution generalization），問題就浮現了。例如，當我們要求模型遵循一個它從未見過的、完全人為定義的規則時，或是處理一些與其先驗知識相衝突的指令時，依賴捷徑的模型便會頻繁出錯。這也是為什麼許多看似聰明的模型，在面對需要穩定映射的嚴肅應用（如數據格式轉換、API 參數生成）時，表現得極不可靠。

真正的智慧不僅僅是知識的再現，更是獲取新技能與適應未知環境的能力。我們需要的方法，是能迫使模型學習「如何學習」，而不只是「如何回答」。

Symbol Tuning：剝除語義外衣，直面抽象規則

要如何驗證模型是真的在學習規則，還是僅僅在利用語義線索？Google 研究人員在 2023 年的論文《Symbol tuning improves in-context learning in language models》中，提出了一個極具巧思的方法：符號調優。這個方法的概念非常簡單：在微調模型的過程中，將所有自然語言的標籤（label）替換成任意、無意義的符號。

舉個情感分析的例子，傳統的微調可能是這樣的：

• 輸入：「這部電影真是太棒了！」 → 標籤：「正面」
• 輸入：「我對這個結果感到失望。」 → 標籤：「負面」

模型可以輕易利用「正面」和「負面」這兩個詞的語義，來對應輸入句子的情感。但在符號調優中，任務會變成：

• 輸入：「這部電影真是太棒了！」 → 標籤：「foo」
• 輸入：「我對這個結果感到失望。」 → 標籤：「bar」

由於「foo」和「bar」是隨機的符號，不帶任何先驗語義，模型無法再走捷徑。它唯一的選擇，就是認真分析上下文範例中輸入與標籤之間的對應關係，從而學習到那個抽象的分類「規則」。實驗結果非常顯著：經過符號調優的模型，在需要上下文學習的任務上表現得更穩定、更魯棒，尤其是在處理那些與其預訓練知識相悖的指令時，它能更忠實地遵循當前提示（prompt）中給出的規則，而不是被舊有知識帶偏。

這對 AI 系統的工程實踐意味著什麼？

Symbol Tuning 的啟示，遠不止於一篇學術論文。對我們這些在第一線建構 AI 系統的人來說，它提供了一個重要的工程哲學：主動去除取巧空間，是通往系統可靠性的必經之路。

當我們設計提示、準備微調數據，或評估模型能力時，應該時刻反思：我是否在無意中為模型提供了語義捷徑？我的評估方式，是真的在測試模型的推理能力，還是在考核它的「國學常識」？例如，在設計一個需要複雜推理的任務時，與其使用模型熟悉的自然語言概念，不如刻意引入一些抽象符號或人為規則，觀察模型是否能正確泛化。這與一些更先進的基準測試，如 BIG-bench 的設計理念不謀而合，它們都致力於將模型推出舒適圈，探索其能力的真實邊界。

這種思維讓我們從單純追求「高分」，轉向追求「高可靠性」。在金融、法律、程式碼生成等高風險領域，我們需要的是一個能 100% 遵循規則的工具，而不是一個時不時自由發揮的「創意夥伴」。

Symbol Tuning 的實驗證明，透過刻意設計的訓練，我們可以引導模型更傾向於演算法推理（algorithmic reasoning），而非僅僅是知識檢索。這讓我們有機會打造出更像精密儀器、而非黑盒子的 AI 系統。這也呼應了 François Chollet 在《On the Measure of Intelligence》中對智慧的定義，強調了技能獲取效率和泛化難度，而非單純的任務表現。

最終，大型語言模型的能力邊界，不僅取決於其規模或數據量，更取決於我們如何去塑造它、衡量它。像 Chain-of-Thought 這類技術提升了模型的推理透明度，而 Symbol Tuning 則從根本上提升了其推理的可靠性。在工程實踐中，真正有價值的不是那些看似理解一切的魔法，而是那些在壓力、未知與對抗性環境下，依然能穩定遵循規則的樸素能力。

延伸閱讀

• Teaching Language Models to Follow Rules via Controlled Mappings (Symbol Tuning 論文)
• On the Measure of Intelligence
• BIG-bench: Beyond the Imitation Game Benchmark

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。