思考的工程學：當高品質的推理範本，勝過更大的模型

在 AI 領域，我們似乎已經習慣了一種線性思維：要獲得更強大的推理能力，就需要更大、更複雜、更耗能的模型。從 GPT-3 到 GPT-4，再到業界對下一代模型的期待，這場規模競賽（Scale Race）彷彿是通往通用人工智慧的唯一路徑。然而，如果真正的關鍵不在於模型的「蠻力」，而在於思考的「方法」呢？

最近一篇名為「Buffer of Thoughts」（BoT）的論文，就為這個問題提供了一個極具說服力的答案。它揭示了一種可能性：推理能力的躍升，不一定來自更大的模型，而可能來自於將高品質的思考流程模板化、快取化與工程化。

這項研究讓我看到，我們或許正站在一個典範轉移的起點——從單純追求模型規模，轉向設計更有效率的認知架構。

「Buffer of Thoughts」：不只是另一種提示工程

初看之下，BoT 似乎與常見的思維鏈（Chain-of-Thought）或更複雜的思維樹（Tree of Thoughts）等提示（Prompting）技巧相似，都是為了引導模型進行更結構化的思考。但 BoT 的核心機制有著本質上的不同。

傳統方法通常是在「解題當下」才即時生成思考路徑，這過程既昂貴又充滿不確定性。

而 BoT 的作法更像一位經驗豐富的專家，它建立了一個名為「元緩衝區」（meta-buffer）的知識庫，專門用來儲存抽象化、高品質的「思考模板」（thought templates）。

當遇到一個新問題時，BoT 的運作分為兩步：

1. 檢索（Retrieve）：系統首先從元緩衝區中，尋找與當前問題最相關的思考模板。這個模板並非具體的解題步驟，而是一個高層次的解題策略框架，例如「先分析問題的限制條件，再分解成數個子問題，最後逐一攻克」。
2. 實例化（Instantiate）：找到合適的模板後，模型會將這個抽象的框架，填入當前問題的具體細節，生成一個客製化的、完整的思考鏈，然後依此進行推理並給出答案。

這個方法的巧妙之處在於，它將昂貴的「從零開始想策略」的過程，轉變為高效的「套用最佳實踐」。

將專家的思考流程「快取」起來

BoT 框架最讓我感到興奮的，是它背後濃厚的「工程思維」。它實質上是在為 AI 的思考過程建立一個「快取」（Cache）系統。

BoT 的核心精神，是將一次性的、昂貴的「思考過程」，轉化為可重複利用的、低成本的「思考資產」。

在軟體工程中，我們用快取來儲存常用且計算成本高的結果，避免重複勞動。BoT 正是將這個概念應用在認知層面。

那些由頂尖大型模型（如 GPT-4）針對特定類型問題所產生的優質思考路徑，經過抽象化處理後，就成了元緩衝區裡的珍貴資產。當較小的模型（如 Llama 3 8B）需要解決類似問題時，它不必自己辛苦地從頭探索，而是可以直接取用這些被「快取」起來的專家級思考範本。

這不僅僅是複製貼上，而是學習並應用一種經過驗證的、高效的解題模式。這也解釋了為什麼這個框架能帶來驚人的效益。

成本與效益的再平衡：12% 成本下的 SOTA 表現

BoT 的實驗結果非常有力。在多個複雜的推理任務（如數學、程式碼生成和邏輯推理）上，採用 BoT 框架的小型模型，其表現不僅顯著超越了其他先進的推理增強方法，甚至能與那些體積遠大於它們的頂尖模型相媲美。

更關鍵的是成本效益。相較於思維樹（Tree of Thoughts, ToT）或思維圖（Graph of Thoughts, GoT）這類需要在推理過程中動態探索大量分支、計算成本極高的框架，BoT 的運作成本極低。根據論文數據，其成本大約僅為 ToT/GoT 的 12%。

這是一個巨大的差異。它意味著我們有機會在不犧牲頂級推理品質的前提下，大幅降低 AI 應用的運算門檻與成本，讓高效能的 AI 推理能力變得更加普及。

我認為，Buffer of Thoughts 的啟示遠不止於一篇學術論文。它代表了一種更務實、更具擴展性的 AI 系統設計哲學。

未來，AI 系統的競爭優勢，可能不再只看誰擁有最大的基礎模型，更要看誰能建立起更豐富、更高品質的「思考緩衝區」，並設計出更有效率的檢索與應用機制。這是一條從模型競賽走向認知架構設計的道路，也是一條充滿工程智慧的道路。

延伸閱讀

• Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。