從 few-shot 範例到高層次推理：AI 思考模式的下一次演進
我們習慣用 few-shot 範例引導大型語言模型，但這就像只給學生看例題，卻不教解題方法。一篇新研究提出，讓模型學習抽象的「推理模式」，而非記憶特定範例，能讓小模型在複雜任務上超越 GPT-4o，這可能預示著提示工程與模型推理能力的下一個典範轉移。
大型語言模型（LLM）的推理能力，長期以來依賴我們提供「情境學習」（In-Context Learning, ICL）的範例。但這種方法的瓶頸日益明顯：它更像是精巧的模式匹配，而非真正的邏輯推理。一篇名為《Beyond Examples》的新研究提出了一個根本性的轉變，主張我們應該從提供靜態的 few-shot 範例，轉向讓模型學習、生成並動態應用「高層次推理模式」。我認為這不僅是提示工程的技巧升級，更可能代表我們引導 AI 解決複雜問題的思維框架，正迎來一次重要的典範轉移。
我們餵給模型的「範例」，真的是最好的養分嗎？
自從 2020 年 GPT-3 論文 《Language Models are Few-Shot Learners》 發表以來，透過在提示（prompt）中塞入幾個範例來引導模型回答，已經成為標準作業流程。無論是基本的問答，還是後來的「思維鏈」（Chain-of-Thought, CoT），其核心都是給定具體的 (問題, 答案) 或 (問題, 推理步驟, 答案) 配對，期望模型能從中歸納出解決新問題的方法。
然而，這種作法的限制也相當明顯：
- 範例敏感性：模型的表現高度依賴所選範例的品質與相關性，選錯範例可能導致災難性的結果。
- 泛化能力有限：模型學到的是解決「這類」問題的特定路徑，遇到稍微變形或需要不同策略組合的問題時，就容易失效。
- 效率低落：為了覆蓋多種情況，我們必須不斷擴充範例庫，這不僅佔用寶貴的上下文視窗（context window），也增加了維護成本。
說到底，這就像教一個學生數學，卻只讓他不斷刷題庫、背解答，而不去教他背後的定理與解題思想。短期內或許能應付考試，但無法培養出真正解決未知問題的能力。
如何從「解題」走向「學會解題方法」？
這篇 新研究 提出的 HiAR-ICL（High-level Automated Reasoning in In-Context Learning）範式，正是為了解決上述問題。它的核心思想是將引導模型的方式，從具體的「範例」提升到抽象的「推理模式」（reasoning patterns）。
這裡的「推理模式」並非單純的指令，而是一種結構化的、可重用的解題策略框架。舉例來說，在解決一個數學應用題時，一個可能的推理模式可能是：「1. 識別題目中的所有變數與已知條件。2. 確定最終要求解的目標。3. 列出可能相關的數學公式。4. 將變數代入公式進行求解。5. 驗證答案的合理性。」
HiAR-ICL 的運作機制，是利用蒙地卡羅樹搜尋（Monte Carlo Tree Search, MCTS）演算法——這也是當年 AlphaGo 用來探索棋局策略的核心技術——從一組範例問題中，自動「探勘」出最高效、最通用的高層次推理模式。當模型遇到一個新問題時，系統不再是從範例庫中找相似題目，而是動態選擇一個最適合的「推理模式」來指導模型完成任務。
這種轉變的本質，是將壓力從「選擇完美的範例」轉移到「建構一個強大的、可重用的推理模式庫」。
這帶來的好處是顯而易見的。推理模式比具體範例更具備泛化能力，一個好的模式可以應用於成千上萬個不同的問題。這也讓模型的推理過程變得更加透明、可控。我們可以明確知道模型正在遵循哪一套邏輯框架，而不是在一個黑盒子裡進行難以捉摸的模式匹配。
為什麼小模型能靠這種方法超越巨人？
這項研究最引人注目的成果之一，是他們證明了即使是相對較小的模型（例如 7B 或 13B 參數級別），在採用 HiAR-ICL 範式後，也能在複雜的數學推理基準測試（如 GSM8K）上，超越像 GPT-4o 這樣的頂級大型模型。
這個結果看似違反直覺，但其實非常合理。大型模型之所以強大，很大程度上源於其龐大的參數規模所儲存的巨量知識。然而，在需要嚴謹、多步邏輯推理的任務上，光有知識是不夠的，更重要的是結構化的思考能力。一個小模型，如果能被給予一個清晰、高效的「思考路線圖」（也就是推理模式），它的表現就能超越一個雖知識淵博、卻只能依靠模糊的模式感應來「即興發揮」的大型模型。
這對 AI 系統的建構者來說，是一個重要的啟示。我們追求的不應僅僅是更大的模型，也應該是更聰明的「使用模型的方法」。HiAR-ICL 證明了，透過優化推理策略，我們可以在不增加運算成本的前提下，大幅提升現有模型的性能上限，這對於邊緣運算、本地部署等資源受限的場景尤其有價值。
從更宏觀的視角看，這項工作或許預示著一個新的方向：我們將不再滿足於讓 AI 模仿人類的「答案」，而是要讓它學習人類的「思維框架」。當 AI 能夠掌握並靈活運用這些抽象的推理模式時，它解決未知問題的能力將會產生質的飛躍。這條路徑，或許比單純追求模型規模的無限擴張，來得更有效、也更具啟發性。
延伸閱讀
- Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS (本篇討論的原始論文)
- Language Models are Few-Shot Learners (GPT-3 論文，開創了 In-Context Learning)
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (思維鏈研究的關鍵論文)
我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。