RAG

A collection of 44 posts
超長 Context 不是萬靈丹:MIT 提醒我們小心「Context Rot」
LLM

超長 Context 不是萬靈丹:MIT 提醒我們小心「Context Rot」

最近看到一個很典型的科技流量標題: 「別再迷信超長 context 了!救星竟然是 Python?」 標題很會抓眼球,但我更在意的是它背後那個更實際的訊息:你把更多文字塞進模型,不等於模型就更懂你要它做什麼。 ## 「超長 context」的幻想:把整本書丟進去就能推理 很多產品在推長 context 時,大家腦中想像的使用情境往往是: * 把一堆文件丟進去 * 然後要求模型做跨段落、跨頁碼、跨章節的推理 * 最後得到一個精準可追溯的答案 但這裡有一個被忽略的現實:Transformer 的注意力機制對「資訊量」很敏感,你越塞越多,模型越容易把關鍵線索當成噪音。 MIT 這類研究(或你在實務中做的長文件 QA)常會遇到一種現象: * 單點查找還行 * 一旦需要跨段落組合、比對、推理,表現會明顯崩掉 社群把它稱為 Context Rot(上下文腐爛):context 變長,理解能力沒有等比例提升,反而像在一堆紙堆裡找針。 ## 真正該問的問題:你要的是「
3 min read