RAG 的下一步：別再堆疊檢索器，讓模型自己決定怎麼搜

目前的檢索增強生成（RAG）系統正走向一個複雜化的瓶頸。我們不斷堆疊查詢轉換、多路檢索、重新排序等模組，試圖窮盡所有可能來提升精度，卻也讓系統變得僵化且難以維護。然而，真正的突破或許不在於增加更多固定的流程，而是將決策權交還給模型本身。近期一篇名為 A-RAG 的研究便揭示了這個方向：讓大型語言模型（LLM）成為一個能自主決策的代理人（Agent），動態地選擇最適合的檢索策略。這代表我們將從設計「流程」轉向設計「工具箱」，是 RAG 典範的關鍵轉移。

RAG 系統為何陷入「流程」困境？

自從 2020 年 RAG 概念被提出以來，這個架構已經成為解決 LLM 知識侷限性與幻覺問題的標準方案。然而，隨著應用場景的複雜化，最初簡單的「檢索-生成」二階段流程，逐漸演變成一個由超過五個、甚至更多階段組成的複雜管線（pipeline）。我們加入了查詢擴展、多路徑檢索、精細的重排序模型（re-ranker）、再到最終的答案合成，每一個環節都試圖解決前一個環節的不足。

這種「管線思維」雖然在特定任務上取得了成功，但其根本缺陷是它的僵化性。它假設所有問題都適用同一套固定的處理流程。一個簡單的事實查核問題（例如「蘋果公司的現任 CEO 是誰？」）和一個需要深度綜合分析的開放式問題（例如「分析蘋果公司在 AI 時代的競爭優勢與挑戰」），在這種架構下卻被迫走過幾乎相同的、過度設計的路徑。這不僅浪費了大量的運算資源，也限制了模型發揮其推理能力的空間。

為什麼要把檢索決策權還給模型？

答案很直觀：因為大型語言模型本身就是一個強大的推理引擎。與其用外部的僵化規則去指導它，不如賦予它工具，讓它自己判斷該如何解決問題。這就是「代理化」（Agentic）方法的精神核心，也是 ReAct、Self-RAG 等研究框架背後的共通思想。

A-RAG 框架將這個理念推向了更實用的層次。它不做任何「預設」的檢索流程，而是直接將一組分層的檢索工具（interfaces）暴露給 LLM。模型在接收到使用者查詢後，會像一位經驗豐富的研究員般進行自我評估：它會先判斷自己是否已掌握答案無需檢索，接著思考問題所需的資訊類型——是特定實體還是廣泛概念？然後決定該使用哪種工具來獲取這些資訊，並在獲取初步資訊後，進一步判斷是否需要深挖細節。

透過這種方式，模型從一個被動的資訊「消費者」，轉變為一個主動的資訊「探尋者」。它能夠根據任務的動態需求，即時規劃並執行一條客製化的檢索路徑，從而實現了資源效率與回答精度的平衡。

我們的工作重心，將從「優化一個固定的檢索管線」轉變為「為模型提供一組強大而靈活的工具，並教會它如何自主使用」。

A-RAG 如何實現分層代理式檢索？

A-RAG 的核心創新在於它提供給模型的並非單一的檢索工具，而是一個具有不同粒度與功能的三層級工具集。這讓模型可以像人類專家一樣，先進行廣泛掃描，再逐步聚焦深入。

首先是高層級的關鍵字搜尋 (Keyword Search)。這就像我們日常使用搜尋引擎，輸入關鍵字快速定位包含特定術語、人名或專有名詞的文件。當模型判斷問題的核心是某個具體實體時，便會優先選擇此工具，以其速度優勢迅速篩選出初步資訊。

接著是中層級的語意搜尋 (Semantic Search)。它利用向量嵌入（vector embeddings）技術，超越字面匹配，尋找語意上相關的內容。當問題比較抽象、概念化，或需要理解複雜上下文時，模型會選擇語意搜尋來捕捉概念相近的資訊，進行更深層次的理解。

最後是深層級的區塊閱讀 (Chunk Reading)。當前兩層工具已經定位到一篇或數篇高度相關的文件後，如果模型認為需要更深入的細節來回答問題，就會啟用此工具。它會直接讀取特定文件的具體段落（chunks），進行精細的資訊提取與分析，確保回答的精確性與完整性。

這種分層設計讓檢索過程變得極具適應性。一個簡單問題可能只需要一次關鍵字搜尋就能解決；而一個複雜問題則可能觸發一個「語意搜尋 -> 閱讀摘要 -> 針對性關鍵字搜尋 -> 深入閱讀特定段落」的動態決策鏈。整個過程由模型自主驅動，充分利用了其內在的推理能力。

從系統建構者的角度來看，這意味著我們的挑戰不再是設計出一個完美的、一體適用的 RAG 管線。相反地，我們的目標是打造一個穩健、高效的「工具平台」，並透過提示工程（Prompt Engineering）或微調（Fine-tuning）來教會模型如何成為一個優秀的資訊研究員。這是一個更具擴展性、也更接近通用人工智慧理想的路徑。我們不再是流程的設計者，而是模型能力的賦予者。

延伸閱讀

• A-RAG: Scaling Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (the original RAG paper)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
• ReAct: Synergizing Reasoning and Acting in Language Models

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。