Maki Chiang｜Notes

Maki Chiang｜Notes

Sign in Subscribe

解開長文本的「中間遺忘」魔咒：為何注意力分配比上下文長度更關鍵？

解開長文本的「中間遺忘」魔咒：為何注意力分配比上下文長度更關鍵？

大型語言模型正競相追逐百萬級上下文長度，但這場競賽是否跑錯了方向？本文將深入探討長文本模型普遍存在的「中間遺忘」現象，揭示為何模型在處理長文本時，關鍵資訊常被忽略。我們將介紹一項突破性訓練策略，證明解決方案不在於無止盡的長度擴展，而在於如何更聰明地分配模型注意力，讓 AI 真正「看懂」長文。

校準 AI 的信心：SaySelf 框架如何讓大型語言模型學會自我懷疑

校準 AI 的信心：SaySelf 框架如何讓大型語言模型學會自我懷疑

大型語言模型（LLM）的幻覺問題，核心不在於答錯，而是它們對自己的不確定性毫無察覺。SaySelf 框架透過獨特的兩階段訓練，不僅教導模型評估推理品質，更校準其信心表達，這對於打造真正可信賴的 AI 系統至關重要，讓 AI 從「自信滿滿」走向「深思熟慮」。

Flash Attention 的隱藏成本：當 BF16 的性能優化遇上數值穩定性挑戰

Flash Attention 的隱藏成本：當 BF16 的性能優化遇上數值穩定性挑戰

Flash Attention 作為 AI 性能優化的關鍵，其在 BF16 精度下的數值穩定性卻被 Meta 最新研究點出潛在風險。當追求速度的技術開始影響結果的「正確性」，這份報告不僅揭示了 Flash Attention 的隱藏成本，更提醒所有 AI 工程師：在享受性能紅利的同時，我們該如何重新審視技術選擇，確保系統在高速運轉下依然穩健可靠？

當 LLM 進入 1-bit 時代：運算力的終結，還是記憶體架構的黎明？

當 LLM 進入 1-bit 時代：運算力的終結，還是記憶體架構的黎明？

微軟最新的 BitNet b1.58 研究顯示，大型語言模型的權重可以被量化到僅有三種狀態，卻能維持與全精度模型相當的效能。這項突破不僅是技術上的里程碑，更可能徹底改變我們對 AI 基礎設施的想像，將設計重心從無盡的算力追逐，轉向對記憶體、頻寬與專用硬體的重新思考。

StarCoder2 的啟示：當小模型追上大模型，AI 開發的戰場在哪裡？

StarCoder2 的啟示：當小模型追上大模型，AI 開發的戰場在哪裡？

StarCoder2 的發布不僅是技術進展，更是一個重要的市場訊號。當 15B 參數的開源模型性能足以挑戰 34B 模型時，我們應該思考，AI 開發的競爭關鍵，是否已從追求更大的模型規模，轉向更快的交付速度與更深度的工具鏈整合？

微調不是唯一解：用模組化思維組合 LLM，打造可擴展的 AI Agent 能力庫

微調不是唯一解：用模組化思維組合 LLM，打造可擴展的 AI Agent 能力庫

傳統上，擴展 LLM 能力總想到微調，但這不僅成本高昂，還可能讓模型「忘記」原有知識。Google DeepMind 的最新研究提出了一種革命性思維：將 LLM 視為可組合的模組，透過「增強」而非「修改」來擴展能力。這不只是一項技術突破，更是為 AI Agent 打造靈活技能庫的未來藍圖。

當記憶體成為瓶頸：LLM 推論的下一個戰場，從算力到系統設計

當記憶體成為瓶頸：LLM 推論的下一個戰場，從算力到系統設計

當模型規模超過硬體記憶體，單純堆疊算力已無濟於事。一篇研究展示了如何巧妙利用快閃記憶體，將推論瓶頸從記憶體容量轉化為一個可管理的數據流問題。這不僅是技術突破，更揭示了未來 AI 系統設計的關鍵思維：重點不再只是算力，而是跨越儲存階層的系統協同設計。

AI 安全的下一步：Meta Llama Guard 揭示可部署、可客製的護欄元件時代

AI 安全的下一步：Meta Llama Guard 揭示可部署、可客製的護欄元件時代

AI 安全不再只是紙上談兵！Meta Llama Guard 的登場，宣告 AI 領域正式邁入「工具化」時代。這款開源模型不僅為開發者帶來可部署、可客製的安全護欄，更預示著未來 AI 應用將能更有效率地整合安全機制，從根本上提升信任與可靠性。深入了解 Llama Guard 如何將抽象原則轉化為實用工具，引領 AI 安全新篇章。

長上下文的真正戰場：為何系統性架構升級比 Token 數量更關鍵

長上下文的真正戰場：為何系統性架構升級比 Token 數量更關鍵

當各大模型競相宣布百萬級 Token 上下文長度時，真正的競爭早已轉向底層。這場競賽的決勝點，不在於規格數字，而在於 Transformer 架構本身能否在訓練、推論與記憶體調度上實現系統性升級。本文將剖析長上下文競賽背後的技術挑戰，並闡述為何全面的系統設計，才是決定下一代 AI 模型能力的關鍵。

AI 落地不缺模型，缺的是願意蹲在客戶旁邊的人

AI 落地不缺模型，缺的是願意蹲在客戶旁邊的人

FDE（Forward Deployed Engineer）在 2026 年成為科技業最搶手的職位，職缺成長 800%。但在台灣零售業，我們早就在做這件事了——只是以前沒有名字。從 CDMP 數據行銷顧問的實戰視角，談 AI 落地真正需要的不是更強的模型，而是願意蹲在客戶旁邊解題的人。

「更好」不等於「相同」：從 Claude Opus 4.7 的 effort 參數看 AI 模型升級的新挑戰

「更好」不等於「相同」：從 Claude Opus 4.7 的 effort 參數看 AI 模型升級的新挑戰

Anthropic 最新的 Claude Opus 4.7 模型在多項基準測試上超越前代，價格卻維持不變。但實際應用中，開發者發現舊有的提示詞（prompt）行為出現偏移，成本甚至可能上升。這背後的新「effort」參數，揭示了 AI 模型已進入一個需要精細調控效能、成本與相容性的新時代，單純追求最新版本不再是最佳策略。

Voicebox 預示的未來：語音生成迎來通用化平台，也迎來治理的艱鉅挑戰

Voicebox 預示的未來：語音生成迎來通用化平台，也迎來治理的艱鉅挑戰

Meta 的 Voicebox 不僅是技術上的躍進，更確立了語音生成模型的「平台化」趨勢。它如同 GPT 之於文字，透過非自回歸架構，在品質與速度上遠超前代，並能執行多樣化的零樣本任務。然而，這份強大的能力也將深偽技術的風險推向新高點，迫使我們必須正視通用 AI 時代中，創新與治理之間那條日益模糊的界線。

Gemma 4 的啟示：當本地 AI 效能追上雲端，企業該如何重新思考成本與主權？

Gemma 4 的啟示：當本地 AI 效能追上雲端，企業該如何重新思考成本與主權？

過去，企業導入 AI 總得先問：該選哪家雲端 API？但隨著 Google Gemma 4 這類高效能開源模型的問世，AI 戰場正悄然轉移到本地硬體。這不只是一場技術選擇的變革，更是對企業成本結構、資料隱私與部署主權的根本性重塑。準備好迎接這場由本地 AI 引領的全新遊戲規則了嗎？

不只靠模型大小：用「逆向思考」打造更可靠的 AI 推理系統

不只靠模型大小：用「逆向思考」打造更可靠的 AI 推理系統

大型語言模型在複雜推理任務中常犯下邏輯謬誤，但解決方案不一定得靠更大的模型。一篇新研究提出 RevThink 框架，透過訓練模型進行「逆向思考」與一致性檢查，從根本上提升推理的可靠性。這種系統級的思維，為打造更強健的 AI 系統提供了新的路徑。

不只是找資料：RAG+ 如何教 AI 學會「應用知識」

不只是找資料：RAG+ 如何教 AI 學會「應用知識」

RAG 系統的瓶頸不只是找不到正確資料，而是找到後不知如何應用。一篇新研究 RAG+ 提出雙語料庫架構，同時檢索「知識」與「應用範例」，試圖填補從資訊到行動的認知缺口，讓 AI 不只會背書，更懂得解題。

Agent 表現不如預期？問題可能不在模型，而在你的 Tool Schema

Agent 表現不如預期？問題可能不在模型，而在你的 Tool Schema

我們常將 AI Agent 的成敗歸咎於底層模型，但真正的效能瓶頸，往往藏在更前端的工具定義（tool schema）之中。本文將從實務角度，探討如何透過精細的 schema 設計、參數約束與回傳值管理，從根本上優化 Agent 的推理成本與執行精度，揭示在模型能力之外，工程設計所能帶來的巨大效益。

常駐型 AI Agent 的真正挑戰：從執行指令到維護心智狀態

常駐型 AI Agent 的真正挑戰：從執行指令到維護心智狀態

你是否曾好奇，如何讓 AI Agent 不只完成單次任務，更能長時間自主運作？本文將揭露常駐型 Agent 的核心挑戰：維持其「心智狀態」的穩定性。我們將深入探討為何傳統提示詞設計會失效，並借鑒 Google Gemini Spark 的實務經驗，分享如何透過狀態管理，打造真正可靠、不會「迷失方向」的 AI 系統。

Agent 的失憶症：為什麼重用計畫比加速推理更關鍵？

Agent 的失憶症：為什麼重用計畫比加速推理更關鍵？

我們常以為提升 Agent 效率的關鍵在於更快的模型，但真正的瓶頸，其實是它們無法辨識並重用過去的解決方案。本文探討一種基於「語義意圖」而非「文本比對」的新方法，它讓 Agent 擁有記憶，從根本上解決重複任務的延遲與成本問題。

從被動檢索到主動探索：強化學習如何重塑 AI 的知識工作流

從被動檢索到主動探索：強化學習如何重塑 AI 的知識工作流

想像一下，如果 AI 不只會「讀」，更能主動「問」？一篇來自 Google DeepMind 的突破性研究，利用強化學習，教會大型語言模型（LLM）何時該主動搜尋、如何聰明整合外部資訊。這不再是被動的資料檢索，而是 AI 邁向主動知識探索與推理的關鍵一步，徹底重塑我們對未來 AI 知識工作流的想像。

超越百萬 Token 上下文：LLM 的下一步不是更大的窗，而是更好的工作記憶

超越百萬 Token 上下文：LLM 的下一步不是更大的窗，而是更好的工作記憶

長上下文的未來，不一定是把視窗做得更大，而是替模型補上一層可循環、可壓縮、可檢索的工作記憶。這種架構也許比單純堆高 token 上限，更接近真正可用的長程推理能力。

模型越大越安全？GPT-4 的對抗攻擊漏洞，給 AI 系統設計的警鐘

模型越大越安全？GPT-4 的對抗攻擊漏洞，給 AI 系統設計的警鐘

更大的模型不會自動帶來更高的安全性。GPT-4 仍可被簡單對抗攻擊撬開，提醒我們：AI 可靠性真正取決於系統層級的防禦設計，而不是對模型規模的盲目信仰。

不只是看圖說故事：Chameleon 如何用「早期融合」重塑多模態 AI

不只是看圖說故事：Chameleon 如何用「早期融合」重塑多模態 AI

目前的多模態模型常將圖像與文字分開處理，再勉強結合，限制了它們對複雜資訊的深層理解。但真正的智慧，來自於從一開始就將不同模態的資訊放在同一個空間思考。Meta AI 最近發表的 Chameleon 模型，正是這種「早期融合」架構的典範，它不只理解，更能生成圖文交錯的內容，為我們處理複雜文件、實現更自然的人機互動，開創了前所未有的可能性。

打破矩陣乘法的詛咒：當 LLM 的下一步不再是暴力堆疊算力

打破矩陣乘法的詛咒：當 LLM 的下一步不再是暴力堆疊算力

大型語言模型的算力與能耗瓶頸，根源可能在於矩陣乘法這個基本運算。一篇新研究展示了無矩陣乘法模型的潛力，不僅在記憶體與能效上取得巨大突破，更重要的是，它指引了一條迥異於當前暴力堆疊硬體的發展路徑——重新思考神經計算的本質。

GUI Agent 的真正價值：當大型語言模型學會「看」與「點」，軟體世界將如何改變？

GUI Agent 的真正價值：當大型語言模型學會「看」與「點」，軟體世界將如何改變？

你是否曾幻想，AI 助理能像真人一樣，直接在電腦螢幕上操作軟體？這不再是科幻情節。當大型語言模型（LLM）結合視覺能力，學會「看懂」並「點擊」圖形介面時，一場顛覆性的軟體互動革命正悄然展開。本文將深入探討 GUI Agent 如何超越傳統自動化，成為連接人類意圖與數位世界的新橋樑，並揭示它將如何徹底改變我們使用軟體的方式。

多代理系統的協作幻覺：為何增加 Agent 不等於提升決策品質？

多代理系統的協作幻覺：為何增加 Agent 不等於提升決策品質？

我們常以為增加 AI 代理人能解決更複雜的問題，但近期研究揭示了多代理系統的理論天花板。本文將從資訊理論與決策科學的角度，探討為何通訊成本與資訊壓縮，才是限制系統可靠性的真正瓶頸，而非單一代理人的智慧。這不僅是技術挑戰，更是對未來 AI 協作架構設計的根本反思。