最近看到一個很典型的科技流量標題:
「別再迷信超長 context 了!救星竟然是 Python?」
標題很會抓眼球,但我更在意的是它背後那個更實際的訊息:你把更多文字塞進模型,不等於模型就更懂你要它做什麼。
## 「超長 context」的幻想:把整本書丟進去就能推理
很多產品在推長 context 時,大家腦中想像的使用情境往往是:
* 把一堆文件丟進去
* 然後要求模型做跨段落、跨頁碼、跨章節的推理
* 最後得到一個精準可追溯的答案
但這裡有一個被忽略的現實:Transformer 的注意力機制對「資訊量」很敏感,你越塞越多,模型越容易把關鍵線索當成噪音。
MIT 這類研究(或你在實務中做的長文件 QA)常會遇到一種現象:
* 單點查找還行
* 一旦需要跨段落組合、比對、推理,表現會明顯崩掉
社群把它稱為 Context Rot(上下文腐爛):context 變長,理解能力沒有等比例提升,反而像在一堆紙堆裡找針。
## 真正該問的問題:你要的是「