Latest

最近看到一個很典型的科技流量標題： 「別再迷信超長 context 了！救星竟然是 Python？」 標題很會抓眼球，但我更在意的是它背後那個更實際的訊息：你把更多文字塞進模型，不等於模型就更懂你要它做什麼。 ## 「超長 context」的幻想：把整本書丟進去就能推理 很多產品在推長 context 時，大家腦中想像的使用情境往往是： * 把一堆文件丟進去 * 然後要求模型做跨段落、跨頁碼、跨章節的推理 * 最後得到一個精準可追溯的答案 但這裡有一個被忽略的現實：Transformer 的注意力機制對「資訊量」很敏感，你越塞越多，模型越容易把關鍵線索當成噪音。 MIT 這類研究（或你在實務中做的長文件 QA）常會遇到一種現象： * 單點查找還行 * 一旦需要跨段落組合、比對、推理，表現會明顯崩掉 社群把它稱為 Context Rot（上下文腐爛）：context 變長，理解能力沒有等比例提升，反而像在一堆紙堆裡找針。 ## 真正該問的問題：你要的是「