超越模型大小：為什麼工作流才是 LLM 處理結構化資料的關鍵？

面對龐雜的表格或資料庫，我們常直覺地認為需要更強大的語言模型（LLM）才能有效推理。然而，我的觀察是，LLM 在處理結構化資料時的上限，往往不是模型參數，而是我們設計的工作流。一篇 2023 年 5 月發表的論文 StructGPT: A General Framework for Large Language Model to Reason over Structured Data 指出，透過將讀取、檢查、迭代與工具呼叫納入一個封閉回路，才是讓零樣本推理（zero-shot reasoning）真正落地、發揮作用的關鍵。

換言之，與其期待一個無所不能的巨大模型直接「看懂」整個資料表並給出答案，不如將 LLM 定位為一個聰明的「指揮官」，讓它學會使用外部工具，一步步拆解問題、查詢數據、驗證假設，最終得出結論。這個思路的轉變，正是許多 AI 應用能否從概念驗證走向穩定實踐的分水嶺。

為什麼 LLM 直接推理結構化資料很困難？

語言模型的核心能力源於對海量非結構化文本的學習，這使得它們在理解自然語言的語義、文法與上下文方面表現出色。然而，當面對結構化資料，例如 SQL 資料庫、CSV 檔案或 JSON 物件時，它們的內在限制便會浮現。

首先，LLM 並不具備人類那樣的「視覺」或「表格」概念。它們看到的只是一長串序列化的文字，難以精準地對應到特定的行列、儲存格，或理解欄位之間的數學與邏輯關係。

其次，大型資料表往往遠超過模型的上下文視窗（context window）限制，我們不可能將數百萬筆資料一次性塞進提示（prompt）中。即便可以，這樣做的成本與延遲也令人卻步。

過去，解決方案大多依賴監督式微調（supervised fine-tuning），也就是用大量的「問題-答案」範例來訓練模型。但這種方法成本高昂、缺乏彈性，且難以泛化到新的資料結構或從未見過的問題類型上。

StructGPT 的解方：迭代式讀取與推理（IRR）

StructGPT 提出的核心框架稱為「迭代式讀取與推理」（Iterative Reading and Reasoning, IRR），這個設計巧妙地將 LLM 的強項（推理與規劃）與外部工具的強項（精準的數據操作）結合起來。這個概念與 ReAct 框架中「思考」與「行動」的循環有異曲同工之妙，都是讓模型在一個可控的循環中逐步逼近答案。

IRR 的工作流程可以拆解成一個不斷重複的循環，其中包含三個關鍵步驟：

首先是**推理（Reasoning）**：LLM 會分析使用者的問題以及當前可用的資料綱要（schema）。基於這些資訊，它會生成一個行動計畫，這個計畫通常是一個可以被外部工具執行的指令，例如一段 Python 程式碼或一個 API 呼叫。

接著是**讀取（Reading）**：外部工具（例如程式碼直譯器）會執行 LLM 生成的指令，從龐大的資料集中精準地讀取一小部分相關數據。

最後是**迭代（Iteration）**：工具執行的結果會被回傳給 LLM，作為下一次推理的「觀察」。LLM 根據新的資訊更新自己的理解，判斷是否已掌握足夠的資訊來回答問題。如果沒有，它會回到第一步，生成下一個行動計畫，如此循環往復，直到問題解決。

這個方法的精髓在於「責任分離」。LLM 不再需要親自處理繁瑣的數據查找與計算，而是專注於更高層次的策略規劃：問對的問題、呼叫對的工具。這也呼應了 Toolformer 的核心思想——讓語言模型學會自主使用工具來增強自身能力。

這套工作流在實務上有何優勢？

將 LLM 整合進一個工具增強的迭代工作流，不僅是理論上的優雅，更帶來了顯著的實務效益。以下是幾個關鍵優勢：

顯著提升零樣本推理效能

首先，它大幅提升了零樣本（zero-shot）場景下的效能。StructGPT 的實驗結果顯示，在 WikiTQ 等基準測試上，使用 `code-davinci-002` 模型的 IRR 框架，其表現甚至能媲美經過完整數據微調的基線模型。這意味著我們無需為每個特定任務都去訓練一個客製化模型，大幅降低了開發與維護成本。

強化可解釋性與除錯能力

其次，這種方法提供了極佳的可解釋性與除錯能力。傳統的端到端（end-to-end）模型像個黑盒子，答錯了我們很難知道問題出在哪。但在 IRR 框架下，每一步的工具呼叫、中間產生的程式碼、以及回傳的數據都被完整記錄下來。當系統出錯時，我們可以輕易地追溯到是哪一個環節的推理或執行出了問題，進而快速修正。

卓越的擴展性與靈活性

最後，這種架構更具擴展性與靈活性。它能處理遠超上下文視窗的龐大資料，因為模型每次只讀取所需的一小部分。同時，作為「大腦」的 LLM 是可以替換的，這讓我們能靈活地選用不同供應商或規模的模型。

這種將計算與推理分離的思路，也與 Program of Thoughts Prompting 等研究方向不謀而合，它們都試圖將符號操作的確定性與語言模型的語義理解能力結合，就像 Binder 框架所嘗試的那樣。

總結來說，當我們面對日益複雜的數據應用場景時，焦點應該從單純追求更大的模型，轉向設計更聰明的工作流。StructGPT 證明了，一個好的系統架構，能讓現有的 LLM 在特定領域發揮出遠超其帳面參數的潛力。這也預示著，未來的 AI 系統建構，將會更像是一種結合了軟體工程、認知科學與系統設計的綜合性藝術。

延伸閱讀

• Large Language Models as Zero-Shot Table Reasoners through Tool Augmentation
• ReAct: Synergizing Reasoning and Acting in Language Models
• Toolformer: Language Models Can Teach Themselves to Use Tools
• Program of Thoughts Prompting: Disentangling Computation from Reasoning
• Binder: Binding Language Models in Symbolic Languages

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。