Context 不是越多越好：頂尖 AI 系統都在實踐的減法工程學

大型語言模型（LLM）的推理品質，關鍵不在於我們餵給它多少資訊，而在於我們如何精準地「減去」多餘的資訊。我們常有一種線性思維，認為上下文（Context）越豐富，模型的表現就越好。然而，實務證明這往往是個陷阱。真正能提升模型表現、打造高可靠度 AI 系統的做法，是一種「減法哲學」：系統性地過濾噪音、排序資訊並凸顯少數高信號的關鍵內容。這能確保模型寶貴的注意力與推理資源，都花在最重要的地方，而不是在資訊的汪洋中迷航。

我曾深信，給予 AI 的上下文越完整，它的回答就越精準。在一次專案中，為了讓模型能掌握所有細節，我將產品規格書、過去的會議記錄、相關的程式碼片段，甚至是一些沾得上邊的討論串，全部塞進了 Prompt 的上下文裡。我天真地以為，這是在為它建構一個完美的「數位大腦」。

結果卻適得其反。模型開始引用一些不相干的段落，依據早已過時的舊規格做出判斷，並且完美地繞過了問題的核心。當我開始嘗試拿掉一些「可能相關」的輔助文件後，神奇的事情發生了：給的資訊越少，它的回答反而越切中要害。這個經驗讓我深刻體會到，Context Engineering 的核心，很多時候是減法，而非加法。

為什麼「多就是好」的直覺是錯的？

這種直覺的謬誤，根植於我們對 LLM 運作方式的誤解。模型的注意力機制並非無限，也不同於人類的篩選式專注。當上下文變得極長（例如現今常見的 128K 甚至 1M token 窗口），模型的注意力會被稀釋，導致它難以分辨主次。正如史丹佛大學研究人員在 〈Lost in the Middle〉這篇經典論文中所揭示的，模型傾向於關注上下文的開頭和結尾，而夾在中間的資訊很容易被忽略或遺忘。當我們不加篩選地填充資訊時，最重要的那塊拼圖，很可能就這樣迷失在數萬個 token 的長文中。

更根本的問題是，LLM 有一種「天真」的傾向：它會假設所有被放進上下文的資訊都是重要且相關的。它缺乏人類那種「這份文件只是參考，重點請看另一份」的判斷力。因此，一份過時的規格文件、一段無關的對話，或是一個有錯字的程式碼範例，對它來說都可能是需要認真對待的「信號」，進而干擾它對真正關鍵資訊的判斷。

在建構 AI 系統時，我們的目標不應是最大化輸入資訊量，而是最大化「信噪比」（Signal-to-Noise Ratio）。

如何實踐 Context Engineering 的減法哲學？

實踐減法哲學，意味著在資訊進入 LLM 的上下文之前，就進行嚴格的過濾與整理。這不僅是技術問題，更是一種思維模式的轉變。根據日本開發者 Kenimo 的實務歸納，我們可以從辨識並剔除以下五種常見的「上下文噪音」著手：

• 無關資訊 (Irrelevant Information)：與當前任務或問題完全無關的數據。這看似理所當然，但在自動化的 RAG（檢索增強生成）流程中，檢索演算法常會因關鍵字匹配而拉回一些語義上相關但邏輯上無用的文件。解決方案是優化檢索策略，或在檢索後加入一道篩選層。
• 過時資訊 (Outdated Information)：已經被取代的舊規格、棄用的 API 文件或不再適用的政策。在上下文中同時提供新舊版本，極易讓模型混淆。必須建立明確的版本控制與篩選機制，確保只有最新的、權威的資訊被送入模型。
• 冗長資訊 (Redundant Information)：用不同方式重複描述同一件事的內容。這會佔用寶貴的 token 空間，並可能稀釋核心論點。在送入模型前進行語義去重（Semantic Deduplication）是必要的步驟。這也與 RAG 的區塊切割策略息息相關。
• 矛盾資訊 (Contradictory Information)：兩份文件中對於同一個規格有不同的描述。這會讓模型陷入兩難，最終可能給出模稜兩可或完全錯誤的答案。建立「單一事實來源」（Single Source of Truth）的知識庫是根本解法。
• 低品質資訊 (Low-Quality Information)：充滿錯字、格式混亂、缺乏結構的文本。這類資訊會增加模型的理解成本，甚至導致解析錯誤。數據清洗與結構化是提升信號品質的基礎工作。

從資訊填充到信號工程的思維轉變

減法哲學的終極目標，是將我們的角色從「資訊填充者」轉變為「信號工程師」。這不只是被動地刪除噪音，更是主動地設計與強化信號。例如，我們可以不只是把最相關的文件找出來，還要根據 Attention 機制的特性，刻意將它們放在上下文的開頭或結尾，以確保它們能被模型「看到」。

我們甚至可以更進一步，在上下文中加入「元指令」（Meta-instructions），明確引導模型的注意力。例如，在提供一份技術文件前，先加上一句：「請依據以下這份 API 文件（版本 2.1）來回答問題，並忽略所有關於 1.x 版本的舊資訊。」這種做法如同為模型配備了GPS，讓它在資訊森林中能沿著我們設定好的路徑前進，而不是隨機探索。

隨著模型處理長上下文的能力不斷增強，如 Microsoft 的研究所示，誘惑我們塞入更多資訊的因素只會增加。但真正的槓桿點，始終在於如何用最少的、最精準的資訊，來驅動模型做出最高品質的推理。這是一條更難走的路，需要更多前期處理與策略思考，但它通往的是更可靠、更可控的 AI 系統。

延伸閱讀

• Lost in the Middle: How Language Models Use Long Contexts (arXiv)
• コンテキストエンジニアリングにおける引き算の考え方と5つのノイズタイプ (Zenn.dev)
• The Art and Science of RAG Chunking Strategies (Cohere Blog)
• Attention Is All You Need (arXiv)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。