當記憶體成為瓶頸：LLM 推論的下一個戰場，從算力到系統設計

在大型語言模型（LLM）的部署實踐中，我們正目睹一個關鍵的瓶頸轉移：從追求無盡的運算力（FLOPs），轉向處理有限的記憶體頻寬與容量。當模型參數大到無法裝入單一加速器的記憶體時，真正的挑戰不再是計算速度，而是如何設計一個聰明的系統，在 GPU、DRAM 與儲存裝置之間高效調度數據。這不僅是工程問題，更是決定 LLM 應用能否規模化、普及化的核心。

為什麼記憶體是 LLM 推論的新戰場？

過去幾年，AI 領域的焦點大多集中在 GPU 的浮點運算性能上，從 NVIDIA A100 的 40GB/80GB HBM2e 記憶體，到 H100 的 80GB HBM3，算力的提升看似無止境。然而，模型的增長速度卻更為驚人。以 Meta 的 Llama 3 70B 模型為例，若以半精度（FP16）載入，就需要超過 140GB 的記憶體，這遠遠超出了單張消費級甚至企業級 GPU 的容量。

當模型無法完全放入 VRAM 時，傳統作法是依賴 CPU 的主記憶體（DRAM）或多 GPU 並行（如 Tensor Parallelism）。但前者會受限於 PCIe 頻寬，後者則成本高昂且需要複雜的軟體堆疊。這道「記憶體牆」成了許多團隊部署大型模型的直接障礙。單純等待下一代擁有更大 VRAM 的 GPU 是一種被動且昂貴的策略。我們需要更具系統思維的解決方案，從根本上重新思考數據在硬體階層中的流動方式。

LLM in a flash：一種系統性的解法

一篇名為《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》的論文，為這個問題提供了一個極具啟發性的方向。研究者們提出，與其將 NVMe SSD 這類快閃記憶體（Flash Memory）視為被動的交換空間（swap space），不如主動將其納入推論流程的設計中，將完整的模型參數儲存在 SSD 上，並在需要時才動態載入至 DRAM 中。

這個想法本身不新穎，挑戰在於執行效率。快閃記憶體與 DRAM 的物理特性截然不同：它的隨機讀取延遲遠高於 DRAM，但循序讀取（sequential read）的吞吐量卻相當可觀。如果只是天真地在需要哪個參數時才去讀取，大量的隨機 I/O 會徹底拖垮推論速度。因此，這篇論文的貢獻不在於「使用快閃記憶體」，而在於「如何聰明地使用」。

如何克服快閃記憶體的物理限制？

論文的核心在於提出了一套與硬體特性相匹配的數據調度策略，將看似緩慢的外部儲存，轉化為一個可預測、可管理的數據來源。主要透過兩種技巧：

• 神經網路感知的分頁（Windowing）：在生成下一個 token 時，並非所有模型參數都會被用到。Transformer 架構中的注意力機制（Attention）有其局部性。因此，系統可以預先載入一個「窗口」內的參數，即當前與未來幾個 token 生成步驟可能需要的神經元權重。這將一次性的大量數據載入，轉化為一系列更小、更可控的循序讀取。
• 針對硬體特性的捆綁（Row-Column Bundling）：為了最大化 SSD 的循序讀取優勢，他們將模型參數在儲存時重新排列。將那些在計算上經常被一同存取的參數（例如矩陣中的相鄰行或列）物理上儲存在一起。如此一來，當系統載入一個數據塊時，就能以最高的效率獲取所有必要的資訊，大幅減少了零散的隨機讀取請求。

透過這兩項優化，該研究成功在記憶體有限的裝置上，運行比 DRAM 容量大上兩倍的模型，且推論速度相較於傳統的虛擬記憶體分頁方法，提升了 4 到 25 倍。這證明了只要軟體與硬體協同設計，記憶體容量的限制是可以被優雅繞過的。

關鍵的思維轉變在於：不再將外部儲存視為萬不得已的緩慢備案，而是將其視為整個記憶體階層中一個可以主動管理、協同設計的積極參與者。

從單點優化到系統協同設計

「LLM in a flash」的實踐，完美體現了當前 AI 系統設計的趨勢：從追求單一元件（如 GPU 算力）的極致性能，轉向對整個系統（CPU, GPU, DRAM, Storage）的通盤考量與協同優化。

這種思維在業界已有跡可循。例如，Apple 的統一記憶體架構（Unified Memory Architecture, UMA），就是透過硬體設計，讓 CPU 和 GPU 直接共享同一塊記憶體池，消除了數據在兩者之間來回複製的延遲與功耗。而在分散式系統領域，像 Petals 這樣的專案，則允許使用者透過網路，將 LLM 的不同層分散到多個志願者的 GPU 上，共同分擔記憶體壓力。

當然，這並非唯一解法。模型量化（Quantization）技術如 GGUF，透過降低參數精度來縮減模型尺寸，也是在記憶體受限裝置上運行的主流方案。但「LLM in a flash」的獨特之處在於，它在不犧牲模型精度的前提下，開闢了一條利用現有、廉價硬體（SSD 相較於 HBM 記憶體）來擴展能力邊界的道路。

未來，高效的 LLM 推論系統，將不再只是演算法或晶片的勝利，而是一個在演算法、軟體與硬體之間取得精妙平衡的系統工程傑作。當記憶體成為瓶頸，我們的目光也必須從單純的算力競賽，轉向更宏觀的系統架構設計。

延伸閱讀

• LLM in a flash: Efficient Large Language Model Inference with Limited Memory (原始論文)
• NVIDIA A100 Tensor Core GPU Datasheet
• Understanding Unified Memory on Apple Silicon (Apple 開發者文件)

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。

--- **Self-correction/Refinement Plan:** 1. **First paragraph (80-120 words, standalone conclusion):** * Current word count: "在大型語言模型（LLM）的部署實踐中，我們正目睹一個關鍵的瓶頸轉移：從追求無盡的運算力（FLOPs），轉向處理有限的記憶體頻寬與容量。當模型參數大到無法裝入單一加速器的記憶體時，真正的挑戰不再是計算速度，而是如何設計一個聰明的系統，在 GPU、DRAM 與儲存裝置之間高效調度數據。這不僅是工程問題，更是決定 LLM 應用能否規模化、普及化的核心。" * Count: 96 words. This is within the 80-120 range. * Standalone conclusion: It sets the stage, identifies the problem, and hints at the solution (smart system design across hardware layers). It works well as a standalone conclusion. * **Keep as is.** 2. **Paragraph length/structure, H2 headings (at least half as questions):** * Current H2s: * `

為什麼記憶體是 LLM 推論的新戰場？

` (Question) - OK * `

LLM in a flash：一種系統性的解法

` (Statement) - Needs to be a question or rephrased. * `

如何克服快閃記憶體的物理限制？

` (Question) - OK * `

從單點優化到系統協同設計

` (Statement) - Needs to be a question or rephrased. * Need at least 2 more H2s as questions. * Let's rephrase the statements into questions. * "LLM in a flash：一種系統性的解法" -> "快閃記憶體如何成為 LLM 推論的救星？" or "LLM in a flash：這份研究提出了什麼系統性解法？" * "從單點優化到系統協同設計" -> "這項技術如何啟發我們思考未來的 AI 系統設計？" or "單點優化已不足夠，未來的 AI 系統該如何協同設計？" * Paragraphs look generally well-sized. The "如何克服快閃記憶體的物理限制？" section has a list, which helps break it up. The paragraph after the blockquote is short and impactful. 3. **Custom excerpt:** * Current: "當模型規模超過硬體記憶體，單純堆疊算力已無濟於事。一篇研究展示了如何巧妙利用快閃記憶體，將推論瓶頸從記憶體容量轉化為一個可管理的數據流問題。這不僅是技術突破，更揭示了未來 AI 系統設計的關鍵思維：重點不再只是算力，而是跨越儲存階層的系統協同設計。" * It's already quite good as a "導讀文案". It clearly states the problem, the solution, and the broader implication. I don't see a need to change it significantly without adding new facts. 4. **C