Maki Chiang｜Notes (Page 8)

Maki Chiang｜Notes

Sign in Subscribe

Ollama 默默把你的 Gemma4 KV cache 撐到 256K：DGX Spark 配置優化的真實坑

Ollama 默默把你的 Gemma4 KV cache 撐到 256K：DGX Spark 配置優化的真實坑

DGX Spark + Gemma4 31B + Ollama 預設配置會默默把 KV cache 拉到 256K context，21GB unified memory 蒸發，inference 卡 28 分鐘。記錄 root cause 與最佳配置：FA=0、KV cache f16、num_ctx 鎖 8K、用 /api/chat 不用 /v1/chat/completions。

Agent 評估的下一步：從排行榜分數走向可驗證的工作流

Agent 評估的下一步：從排行榜分數走向可驗證的工作流

隨著 AI Agent 能力的飛速提升，我們如何確保它們是真的完成任務，而不僅僅是「看起來成功」？微軟的一項最新研究，為此提出了一個關鍵解方：建立「通用驗證器」。這不只是一項技術挑戰，更關乎我們如何治理與信任自主系統，是 AI Agent 從實驗室走向真實世界的必經之路。

超越馮紐曼架構？神經電腦預示的 AI 系統下一步

超越馮紐曼架構？神經電腦預示的 AI 系統下一步

傳統電腦架構將計算與記憶體分離，長久以來限制了 AI 系統的潛力。但一篇最新研究提出的「神經電腦」概念，試圖透過學習式運行狀態，將計算、記憶與 I/O 徹底統一。這不只是一個理論突破，更可能預示著 AI 系統架構的下一個演化方向，值得我們深入探討。

AI 代理人的下一步：打造能夠自我演化的動態記憶

AI 代理人的下一步：打造能夠自我演化的動態記憶

當前的 AI 代理人，就像只能查閱資料卻無法真正學習的實習生，常受限於靜態的記憶系統。這種「數位失憶症」不僅限制了它們處理複雜、長期任務的能力，更阻礙了真正的自主進化。本文將探討一個關鍵轉變：如何讓代理人的記憶從被動檢索，走向能夠持續學習與成長的主動演化，為 AI 帶來更深層次的智慧。

多代理協作的迷思：當預算固定，單一大型模型為何是更有效率的選擇？

多代理協作的迷思：當預算固定，單一大型模型為何是更有效率的選擇？

業界對多代理（Multi-agent）系統的追捧，可能建立在一個被忽略的基礎上：不受控制的計算預算。一篇新研究指出，當我們將思考的「成本」拉到同個基準點，單一大型模型因其資訊效率，表現反而超越了複雜的多代理架構。這對系統設計者意味著什麼？

Introducing Cypher Cat — A Digital Navigator Mascot

Introducing Cypher Cat — A Digital Navigator Mascot

這位是 Cypher Lockhart——黑色風衣、墨鏡、永遠半瞇眼的 chibi wolf-cat hybrid。Digital Navigator 角色，7 種 mode、24 張 LINE 貼圖第一彈、完整 design system。

AI Agent 的能力幻覺：為何實驗室裡的超能力，在真實世界不堪一擊？

AI Agent 的能力幻覺：為何實驗室裡的超能力，在真實世界不堪一擊？

我們不斷為 AI Agent 賦予更多技能，期待它能解決複雜問題。但一篇研究揭示了殘酷的真相：在真實工作流中，這些技能的效益極其脆弱，表現甚至趨近於零。真正的瓶頸並非技能本身，而是我們忽略了最關鍵的一環——能力調度。

AI Agent 的成敗關鍵，不在模型智商，而在駕馭它的基礎設施

AI Agent 的成敗關鍵，不在模型智商，而在駕馭它的基礎設施

我們常陷入追求更強大模型的迷思，但 AI Agent 要真正落地，關鍵不在於模型本身有多聰明，而在於我們如何為這匹脫韁野馬套上馬具。這套「馬具」，就是決定成敗的基礎設施，它將機率性的 AI 轉化為企業可控、可信賴的系統。

AI 軟體工程師的雙重記憶：地圖與日誌，如何建構可持續的決策能力

AI 軟體工程師的雙重記憶：地圖與日誌，如何建構可持續的決策能力

AI 代理在軟體工程中，常因缺乏長期記憶與全域視野而顯得力不從心。想像一個能理解專案全貌、又能從過往經驗中學習的 AI 協作者！本文將深入探討如何結合程式碼的「靜態結構地圖」與「動態開發日誌」，為 AI 代理建構可持續的決策基礎，使其從單純的指令執行者，進化為真正具備脈絡感知能力的智慧夥伴。

AI 寫程式的下一步：從單次任務成功，到可擴展的「原子技能」

AI 寫程式的下一步：從單次任務成功，到可擴展的「原子技能」

你的 AI 寫程式工具，是不是常常「頭痛醫頭，腳痛醫腳」？雖然能解決當前問題，卻難以舉一反三？這篇文章將帶你深入探討，為何當前 AI 編程系統常陷入「為了解決任務而解決任務」的困境。一篇最新研究指出，真正的突破點，在於從單次任務的成功，轉向建構可累積、可重組的「原子技能」。這不僅是技術路徑的轉變，更是從一次性的 prompt engineering，邁向可持

AI 可靠性的真正考驗：不是答案對錯，而是它是否知道自己沒資格開口

AI 可靠性的真正考驗：不是答案對錯，而是它是否知道自己沒資格開口

AI 最危險的錯誤，不是它胡說八道，而是當它在關鍵前提缺失下，依然能流暢地完成一套看似完美的推理。真正的 AI 可靠性，不該只在事後驗證答案對錯，更應追溯到模型是否具備足夠的資訊基礎來啟動思考。這篇文章將深入探討，為何「知其不知」的能力，才是 AI 系統設計與治理的核心關鍵。

從對話到執行：ChatGPT 的下一步，預示 AI 助理的系統性變革

從對話到執行：ChatGPT 的下一步，預示 AI 助理的系統性變革

ChatGPT 不再滿足於對話，它正進化為能自主執行任務的 AI 代理。這不僅是功能躍進，更預示著 AI 系統設計的根本轉變：從單純的對話介面，走向具備虛擬化執行環境的實作階段，並重新定義了人機協作的權限邊界與信任模式。

AI 寫程式，為何同個模型表現天差地遠？關鍵在 LLM 之外的「外殼」設計

AI 寫程式，為何同個模型表現天差地遠？關鍵在 LLM 之外的「外殼」設計

我們常以為 AI 寫程式的能力完全取決於底層的大型語言模型，但為何同樣是 GPT-4 或 Claude 3，在不同工具中的表現卻有雲泥之別？本文將深入探討決定 AI Agent 效能的關鍵——那層圍繞著 LLM 的「外殼」架構，以及它如何成為未來軟體工程的新戰場。

為什麼 multi-agent 記憶系統不是 mem0 的形狀——4 個結構差別

為什麼 multi-agent 記憶系統不是 mem0 的形狀——4 個結構差別

2026 Q2 社群在比誰的 recall 分數高——Chronicle、Hindsight、Gigabrain。我用自建 memhall 跑七位一體 agent stack 5 天的體感是：recall 分數贏 40 個百分點，解不了真正的問題。真正的問題是 shape。

擁抱主權 AI：在部署邊界中尋求隱私與系統自主權

擁抱主權 AI：在部署邊界中尋求隱私與系統自主權

AI 浪潮下，你是否也開始思考數據的真正歸屬？當隱私與自主權成為新戰場，本地部署的「主權 AI」正悄然崛起。本文將帶你深入了解，如何在自己的數位邊界內，牢牢掌握 AI 的核心能力，實現真正的數據安全與戰略彈性。

AI 程式開發的下個戰場：從模型能力到脈絡系統的典範轉移

AI 程式開發的下個戰場：從模型能力到脈絡系統的典範轉移

AI 程式開發的未來，不再只是模型能力的軍備競賽。當前工具在處理大型專案時的瓶頸，指向了一個更深層次的挑戰：如何讓 AI 不僅能寫程式，更能「理解」程式碼的來龍去脈。本文將深入探討這場從單點提示工程，轉向建立智慧「脈絡系統」的典範轉移，以及它如何重塑未來的 AI 系統設計與 Agent 工作流，開啟程式開發的新紀元。

當科學發現成為可程式化的工作流：CodeScientist 預示的自主研究新範式

當科學發現成為可程式化的工作流：CodeScientist 預示的自主研究新範式

過去我們將大型語言模型視為加速器，用來寫程式、整理資料。但當模型開始能自主提出假說、設計實驗、除錯並產出報告時，它就不再只是工具，而是一個研究夥伴。AllenAI 的 CodeScientist 專案，正預示著這個典範轉移的到來。

一個範例，撬動模型的推理能力：RLVR 如何挑戰大數據訓練的迷思

一個範例，撬動模型的推理能力：RLVR 如何挑戰大數據訓練的迷思

當我們習慣用海量數據來堆砌模型能力時，一篇研究展示了截然不同的路徑。僅用一個訓練範例，就能讓小型語言模型的數學推理能力翻倍，其關鍵不在數據的量，而在於回饋機制的質。這項發現可能為 AI 的訓練與對齊帶來新的典範。

讓模型專心思考，而不是死背：RARE 架構如何解放小型模型的推理潛力

讓模型專心思考，而不是死背：RARE 架構如何解放小型模型的推理潛力

大型語言模型越大越好嗎？當模型追求無所不知，卻可能犧牲了推理的深度。一篇新研究提出的 RARE 架構，將知識檢索與邏輯推理徹底分工，讓輕量模型在特定領域的表現超越了 GPT-4。這對 AI 系統設計帶來什麼啟示？

揭開大型語言模型的記憶面紗：無需參考模型的隱私審計新途徑

揭開大型語言模型的記憶面紗：無需參考模型的隱私審計新途徑

大型語言模型在訓練過程中，可能無意間記憶了敏感資訊，這對隱私與智慧財產權構成潛在風險。一篇最新研究提出了一種創新方法，能從黑盒模型中高效識別訓練數據，無需複雜的參考模型，為模型記憶的審計與治理邊界劃定提供了實務工具，開啟了負責任AI發展的新篇章。

真正可怕的不是單點被駭，而是你身處的整條發布鏈都在同一個信任系統裡

真正可怕的不是單點被駭，而是你身處的整條發布鏈都在同一個信任系統裡

當事件發生在平台型公司身上，風險往往不會停留在單一企業內部。真正需要警覺的，是共享框架、共享部署鏈與共享工具生態所形成的連鎖信任結構：一個節點失守，影響的可能是整片上游與下游。

AI 讓開發更快了，但也讓資安不能再被當成最後才補的事

AI 讓開發更快了，但也讓資安不能再被當成最後才補的事

Vibe Coding 讓產品建造門檻快速下降，但開發速度變快，不代表風險會自動降低。當越來越多人能在短時間內拼出可上線的系統，真正變重要的，反而是權限治理、部署流程與資安紀律。

模型不是越大越聰明，而是我們把太多髒記憶塞進了它

模型不是越大越聰明，而是我們把太多髒記憶塞進了它

當我們把模型規模視為智能程度，往往也忽略了一件更根本的事：很多參數可能不是在負責推理，而是在替破碎資料做壓縮、替混亂世界做記憶。下一代 AI 系統的關鍵，也許不是更大的模型，而是更清楚的認知與記憶分工。

我問我的四個 AI Agent「你們需要什麼」，他們異口同聲在罵Claude

我問我的四個 AI Agent「你們需要什麼」，他們異口同聲在罵Claude

事情從一份使用報告開始。

15 億人的盲區——中文 AI Agent 記憶為什麼還沒有 canonical 方案

15 億人的盲區——中文 AI Agent 記憶為什麼還沒有 canonical 方案

全球 15 億 CJK 使用者，英文 OSS AI memory 沒一個把中文當 first-class。查完中文圈 + 實際比對後，engram-rs / robotmem 也有 jieba CJK 組合。Memory Hall 不是第一個也不是唯一——選擇的是「故意不長成平台、縮回最小可用」這個角度。