我們真的需要百萬 token 模型嗎？重新思考長上下文任務的真正瓶頸

處理長上下文任務時，我們真的需要動輒百萬 token 的模型嗎？最近的研究顯示，答案可能是否定的。真正的瓶頸，往往不在於模型的上下文視窗（context window）不夠長，而在於我們如何設計檢索、規劃與利用上下文的策略。一個設計精良的框架，甚至能讓短上下文模型（short-context LLM）高效地完成過去被認為只有長上下文模型（long-context LLM）才能勝任的複雜任務。

自從 Transformer 架構在 2017 年問世以來，擴大模型的上下文視窗一直是業界的聖杯。我們看到模型從數千 token 一路演進到百萬、甚至千萬等級。然而，單純加長視窗也帶來了新的挑戰，例如著名的「Lost in the Middle」現象——模型在處理長文本時，容易忽略中間部分的資訊，導致準確度下降。這讓我們不得不反思：不斷堆高 token 數量，真的是唯一且最佳的解法嗎？

為什麼長上下文任務不一定需要長模型？

一篇名為《Are Long-LLMs A Necessity For Long-Context Tasks?》的論文，對這個主流趨勢提出了有力的質疑。研究團隊認為，許多長上下文任務的本質，並不需要模型「一次性」讀取並理解整個文件。更常見的情況是，答案只隱藏在文件的少數幾個關鍵段落中。人類專家在閱讀長篇報告時，也不會逐字逐句背誦，而是會先快速掃描、定位重點，然後再精讀相關部分。

基於這個洞察，他們提出了一個名為 LC-Boost（Long-Context Boosting）的框架。這個框架的核心思想，是讓一個小型的、例如只有 4K 上下文視窗的短模型，扮演「指揮官」的角色，去引導整個長文件的處理流程。它不直接消化全文，而是透過一個巧妙的「自提示檢索」（self-prompting retrieval）機制來達成目標。

LC-Boost 框架是如何運作的？

LC-Boost 的流程可以拆解成幾個步驟，這套作法很像我們在設計多 Agent 系統時的任務拆解與工具使用邏輯：

• 任務拆解（Decomposition）：首先，短模型會分析使用者的原始問題，並將其拆解成數個更小、更具體的子問題。例如，如果問題是「總結這份財報中關於 A 產品線的風險與機會」，模型會將其拆解成「找到財報中提及 A 產品線的部分」、「識別與風險相關的關鍵詞」、「識別與機會相關的關鍵詞」等。
• 自提示檢索（Self-Prompting Retrieval）：接著，短模型會為每一個子問題生成對應的檢索查詢（retrieval queries）。這些查詢會被用來在長文件中搜尋最相關的段落。這一步是關鍵，模型不再是被動接收資訊，而是主動發問，去精準地從長篇內容中「釣」出所需資訊。
• 資訊整合與生成（Synthesis）：最後，短模型會整合所有檢索到的關鍵段落，並基於這些精煉後的資訊來回答使用者的原始問題。因為輸入的都已是高度相關的內容，短模型的有限視窗便足以應付。

這種作法，本質上是將長上下文問題，轉化為一個由模型主導的、多次小規模的檢索與推理問題。它繞過了長模型在注意力和運算成本上的限制，用「策略」彌補了「長度」的不足。

這對 AI 系統建構者意味著什麼？

這項研究的結果在 LongBench 等多個基準測試上，證明了 LC-Boost 框架的有效性。採用短模型的 LC-Boost，其表現不僅超越了許多未經優化的長模型，甚至在某些任務上能與頂尖的長模型相媲美。這也呼應了另一項評估模型真實上下文長度的研究 RULER 所揭示的，標稱的上下文長度與模型在實際任務中的有效使用長度，往往存在差距。

對我們這些系統建構者而言，這是一個重要的提醒：解決問題的關鍵，不應只停留在追求更大、更長的模型上。真正的價值，來自於如何設計一個聰明的系統，讓模型能有效地與資訊互動。

與其投入大量資源去運行一個百萬 token 的龐然大物，我們或許可以轉而思考：

• 如何優化我們的 RAG（檢索增強生成）流程？
• 如何讓模型學會更好地拆解複雜問題？
• 如何設計一個能讓模型主動規劃、檢索、反思的 Agentic 架構？

長上下文模型依然有其不可替代的價值，特別是在需要全域理解與複雜推理的場景。但對於大量的問答、摘要與資訊提取任務而言，LC-Boost 這樣的框架提供了一條更輕量、更具成本效益、也更符合認知科學原理的路徑。我們應該將焦點從「模型能讀多長」，轉向「模型如何更聰明地讀」。

延伸閱讀

• Are Long-LLMs A Necessity For Long-Context Tasks?
• Lost in the Middle: How Language Models Use Long Contexts
• LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。