模型越大越好？TinyStories 實驗告訴我們，高品質資料才是小模型推理能力的關鍵
過去我們總認為模型參數越大，能力越強。但一系列研究如 TinyStories 與 Phi 系列，揭示了另一條路：透過精心設計的「教科書等級」資料，即使是千萬級參數的小模型，也能展現出驚人的連貫性與推理能力。關鍵不在規模，而在於資料的品質與適配性。
長期以來，AI 領域似乎被一個簡單的信念主導：模型參數越大，能力就越強，也越有可能湧現出複雜的推理能力。然而，近期的研究正有力地挑戰這個觀點。我認為，模型的能力並非單純取決於規模，更關鍵的因素在於訓練資料的品質、任務結構的設計，以及訓練分佈的適配性。Microsoft Research 發表的一篇名為 TinyStories 的研究，便是一個極具說服力的證明：只要餵給模型「對的」資料，即使是參數極小（小於 1000 萬）的模型，也能學會生成連貫、有邏輯的故事，甚至展現出初步的推理跡象。
這項發現顛覆了我們對模型能力來源的傳統認知。它指出了一條更有效率、更具成本效益的路徑——與其無止盡地堆疊運算資源與參數，不如回歸根本，專注於資料本身的品質與結構。這不僅對學術研究有啟發，對產業界的應用開發者來說，更意味著巨大的實務價值。
為什麼我們一度迷信「大力出奇蹟」？
在深入探討小模型的潛力之前，我們必須先理解「模型越大越好」這個觀念從何而來。這主要源於 2020 年 OpenAI 提出的 Scaling Laws for Neural Language Models。該研究透過大量實驗證明，在一定的條件下，語言模型的性能會隨著參數數量、資料集大小和運算量的增加而呈現可預測的提升。
這項發現基本上為過去幾年的「軍備競賽」奠定了理論基礎，從 GPT-3 的 1750 億參數到後續更龐大的模型，科技巨頭們無不投入巨資，追求規模上的極致。
這種「暴力美學」確實帶來了驚人的成果，大型語言模型（LLM）在各種任務上都取得了前所未有的突破。然而，它也帶來了高昂的訓練成本、巨大的能源消耗，以及模型行為難以解釋與控制等問題。更重要的是，它讓我們幾乎忽略了一個根本問題：模型學到的究竟是來自資料中的統計規律，還是真正理解了語言與世界之間的關係？Scaling Laws 描述的現象，或許只是在龐大而混雜的網路資料中，暴力破解統計規律的一種表現。
TinyStories 的實驗：用三歲小孩的詞彙教出會推理的模型
Microsoft Research 的 TinyStories 研究團隊採取了截然不同的策略。他們沒有使用龐雜的網路資料，而是反其道而行，創造了一個極度乾淨、簡單且結構化的資料集。這個資料集的核心概念是：用一個三、四歲孩子能理解的詞彙，來生成大量結構完整、邏輯連貫的短篇故事。
他們利用 GPT-3.5 和 GPT-4 作為「故事生成器」，確保產出的每一篇故事都具備以下特點：
- 詞彙受限： 只使用最基礎、最常見的英文單字。
- 語法正確： 句子結構簡單但完整，符合文法規則。
- 邏輯連貫： 故事有起承轉合，具備基本因果關係。
這個資料集就像是為 AI 量身打造的「學前教育讀本」。實驗結果令人驚訝：一個參數僅有 1000 萬的模型，在 TinyStories 資料集上訓練後，不僅能生成流暢、語法正確的故事，甚至在某些故事中展現了簡單的「心智理論」（Theory of Mind），例如理解故事角色的意圖與信念。這是過去被認為只有數十億甚至千億參數級別的大模型才能具備的能力。
這項實驗有力地說明，當訓練資料的「信噪比」極高時，模型可以更有效率地學習到語言背後的結構與邏輯，而不是在海量雜訊中費力地尋找模式。
高品質資料，如何成為小模型的「超常規武器」？
TinyStories 的成功並非孤例。Microsoft 後續推出的 Phi 系列模型，更是將「高品質資料優先」的理念推向了新的高度。例如，phi-1 模型使用了「教科書等級」（textbook-quality）的資料進行訓練，專注於程式碼與邏輯推理。而後續的 Phi-2，一個僅有 27 億參數的模型，在多項基準測試中的表現甚至能與比它大 5 到 25 倍的模型相媲美。
這些例子共同揭示了一個核心洞見：資料的品質遠比數量重要。與其讓模型從混雜的網路文本（如 Common Crawl）中學習，不如為其提供經過精心篩選、結構清晰、內容準確的知識。這種「教科書」般的資料，能幫助模型更快地掌握核心概念與推理鏈條，避免被網路上的大量事實錯誤、偏見言論和無意義內容所干擾。
對我們這些系統建構者與產品管理者而言，這意味著策略上的轉變。在資源有限的情況下，與其追求部署一個龐大而笨重的通用模型，不如思考如何為特定任務場景建構一個高品質、小規模的專用資料集，並用它來訓練或微調一個更精悍、更可控的小模型。
這不僅能大幅降低運算與維護成本，還可能在特定任務上取得比通用大模型更好的效果，因為模型的「知識」與任務需求高度適配。
最終，模型的推理能力並非憑空「湧現」，而是其學習到的資料分佈與結構的直接體現。當我們為模型提供一個乾淨、有序、充滿內在邏輯的世界（即使這個世界很小），它自然能學會在這個世界中進行清晰的思考與推理。未來，資料策略與資料工程的重要性，將會越來越高，甚至超過模型架構本身。
延伸閱讀
- TinyStories: How Small Can Language Models Be and Still Speak Coherent English?
- Textbooks Are All You Need
- Phi-2: The surprising power of small language models
- Scaling Laws for Neural Language Models
我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。