Maki Chiang｜Notes (Page 2)

Maki Chiang｜Notes

Sign in Subscribe

Web Agent 的最後一哩路：為什麼看懂畫面比高階規劃更關鍵

Web Agent 的最後一哩路：為什麼看懂畫面比高階規劃更關鍵

大型語言模型在網頁自動化任務中展現了驚人的規劃能力，但為何實際應用依然困難重重？關鍵瓶頸不在於「思考」，而在於「看見」。本文將深入探討視覺定位（visual grounding）的挑戰，以及它如何決定了 Web Agent 的成敗。

超越人類回饋：自我獎勵模型如何重塑 AI 的進化路徑

超越人類回饋：自我獎勵模型如何重塑 AI 的進化路徑

大型語言模型的能力進化，長期受限於昂貴且緩慢的人類回饋。但如果模型不僅能生成答案，還能自己定義「好答案」的標準、自我評分並迭代呢？一篇來自 Google DeepMind 的研究展示了這種可能性，揭示了一條讓模型能力與評分標準同步進化的新路徑，這不僅是單次表現的提升，更是整個 AI 訓練與評估流程的根本變革。

語言不只是指令：它如何成為預測世界的通用訊號？

語言不只是指令：它如何成為預測世界的通用訊號？

我們習慣將語言視為對 AI 下達指令的介面，但若將其視為一種描述與預測世界狀態的壓縮訊號，將為多模態學習與世界模型的發展開啟全新視角。這種觀點的轉變，讓模型能從純文字中學習世界如何運作，並將這種知識無縫轉移到理解視覺與行為的複雜任務中。

長序列模型的實用化關鍵：FlashAttention-2 如何將硬體效率推向極限

長序列模型的實用化關鍵：FlashAttention-2 如何將硬體效率推向極限

大型語言模型的長序列能力，常被歸功於架構創新。但真正的瓶頸與突破，其實發生在更底層的運算層。本文將探討 FlashAttention-2 如何透過工程優化，將注意力機制的運算效率逼近硬體理論極限，為長文理解、多輪對話等應用鋪平了最後一哩路。

從 Tulu 2 看見開放模型的真正護城河：微調與評估的系統化能力

從 Tulu 2 看見開放模型的真正護城河：微調與評估的系統化能力

大型語言模型的競賽，正從基礎模型的軍備競賽，轉向更細緻的微調與評估工程。Allen AI 的 Tulu 2 專案，不僅是技術上的突破，更為我們揭示了開放模型生態系的下一個戰場。本文將深入探討 Tulu 2 如何透過系統化的方法，確立了高效微調與評估的標準，並指出建立一套可複製、可擴展的「模型適應」系統，才是開放模型真正的競爭壁壘。

當 AI Skill 不再是工程師專利：一個讓全團隊安全貢獻自動化的設計

當 AI Skill 不再是工程師專利：一個讓全團隊安全貢獻自動化的設計

讓非工程師也能安全貢獻可執行的 AI 自動化工具——用一個輕量的權限閘道把資料外洩風險關起來，同時不殺死人人都能貢獻的彈性。

Claude 學會自己組團隊了，但誰來懷疑這個團隊？

Claude 學會自己組團隊了，但誰來懷疑這個團隊？

Claude Code 推出 Dynamic Workflows，Claude 會自己當 PM 組團隊、平行執行、互相驗證。執行力很猛，但有一個結構性盲點：所有 Agent 都是 Claude，沒有外部觀點。平行化不等於對抗式思考。

跳出 BPE 的局部最佳解：用 Convex Optimization 重新思考 Tokenization

跳出 BPE 的局部最佳解：用 Convex Optimization 重新思考 Tokenization

大多數人把 tokenizer 當成模型訓練前的固定工序，但這篇新論文提醒我們：tokenization 本身其實就是一個近似最適化問題。當研究者把它從 BPE 這類貪婪法，重寫成可鬆弛、可求界的 convex optimization 問題後，tokenizer 不再只是工程習慣，而開始變成能被系統性設計與驗證的模型基礎設施。

RAG 的下一步：別再堆疊檢索器，讓模型自己決定怎麼搜

RAG 的下一步：別再堆疊檢索器，讓模型自己決定怎麼搜

RAG 系統越堆越複雜，卻發現效率不增反降？一篇名為 A-RAG 的最新研究，為我們指出了一條新路：與其不斷疊加檢索模組，不如將決策權交還給大型語言模型（LLM），讓它像一位經驗豐富的研究員，自主判斷何時、如何、以何種粒度進行資訊檢索。這不僅是技術上的突破，更預示著 AI 系統設計思維的根本性轉變，準備好一窺 RAG 的未來了嗎？

AI Agent 的下一步：為何記憶體與系統設計，比純算力更關鍵？

AI Agent 的下一步：為何記憶體與系統設計，比純算力更關鍵？

當我們追求更強大的 AI Agent 時，真正的瓶頸已悄悄轉移。這篇文章將帶你深入探討，為何記憶體頻寬與系統架構，而非單純的算力堆疊，才是決定未來 AI Agent 效能與應用廣度的關鍵。一篇最新研究揭示，只有透過硬體與模型的協同設計，我們才能真正突破當前困境，讓 Agent 應用在現實世界中發光發熱。

AI Agent 的記憶難題：為何區分「參考」與「承諾」比無限擴充上下文更重要

AI Agent 的記憶難題：為何區分「參考」與「承諾」比無限擴充上下文更重要

當我們追求更強大的 AI Agent 時，常誤以為記憶問題的解法是塞入更多上下文。但真正的關鍵在於記憶的「控制」，而非容量。本文探討一種新思路：如何讓 Agent 學會區分哪些資訊只是參考，哪些是會改變其核心狀態的「承諾」，從而避免在長期任務中迷失方向。

強化學習的下一步：當模型學會「自我檢討」，而不只是追求分數

強化學習的下一步：當模型學會「自我檢討」，而不只是追求分數

傳統強化學習仰賴單一分數回饋，模型往往只學會碰運氣。一篇新研究提出，讓模型產生語言化的自我反思，並將這些反思「蒸餾」回自身策略，才能真正從錯誤中學習，解決棘手的信用分配問題，為更穩健的 AI 代理人開闢了新路徑。

Agent 效能再思考：為何成功率不是唯一指標，成本預算才是？

Agent 效能再思考：為何成功率不是唯一指標，成本預算才是？

當前的 AI Agent 評估過度專注於任務成功率，卻忽略了延遲、Token 消耗等關鍵成本。本文從一篇近期的研究出發，探討為何我們需要一個包含成本預算的多維度效率框架，並分析如何在記憶、工具學習與規劃等層面，打造真正能在現實世界中部署的「經濟型」智能。

不只堆疊更多層：當模型架構本身成為可學習的設計空間

不只堆疊更多層：當模型架構本身成為可學習的設計空間

深度學習的未來，不再只是堆疊更多層或餵養更多資料。一篇名為《Deep Delta Learning》的開創性研究，正引領我們重新思考模型架構的本質：當殘差連接不再是固定的「加法」，而是可學習的「動態變換」，資訊流動的路徑本身，也能成為模型學習的設計空間。這不僅提升了模型效能，更預示著一個模型結構能自我演化的新時代。

別再逐字抄寫系統提示詞了：從 Claude 內部文件，看見模型行為的真實設計藍圖

別再逐字抄寫系統提示詞了：從 Claude 內部文件，看見模型行為的真實設計藍圖

最近一份號稱 Claude Opus 4.7 的系統提示詞文件在網路上流傳，但深究其內容，你會發現真正的價值不在於那些可以複製貼上的指令，而在於它揭示了 Anthropic 如何透過結構化的角色、工具與約束，來塑造 AI 的核心行為模式。這份文件就像一份設計藍圖，教我們如何思考，而非如何抄寫，為我們提供了理解頂尖模型運作邏輯的獨特視角。

從單人助理到團隊協作：AI Agent 的下一個系統級挑戰

從單人助理到團隊協作：AI Agent 的下一個系統級挑戰

當 AI Agent 從個人助理走向企業團隊，真正的挑戰並非同時處理多個對話，而是系統如何應對權限衝突、角色優先級與隱私邊界。這不僅是模型能力的延伸，更是對系統設計、責任歸屬與信任基礎的根本拷問。

觀測性陷阱：當 AI Agent 的 Trace 看起來正常，但結果卻是錯的

觀測性陷阱：當 AI Agent 的 Trace 看起來正常，但結果卻是錯的

AI Agent 的執行紀錄（Trace）讓我們看見它做了什麼，卻沒告訴我們它做得對不對。當我們過度依賴這些表面訊號，很容易將「觀測性」誤判為「可靠性」。本文將探討如何建立可判定的診斷機制，真正量化 Agent 的行為正確性，避免它們在看似正常的運作下悄悄失敗。

MCP 原型的詛咒：為何成功的 PoC 反而走向技術債的懸崖？

MCP 原型的詛咒：為何成功的 PoC 反而走向技術債的懸崖？

許多團隊在開發多輪對話協定（MCP）系統時，常因追求快速驗證而忽略初期架構的嚴謹性。本文將深入探討，為何這種「先求有再求好」的思維，會讓看似成功的原型在邁向生產環境時，撞上名為「安全之崖」的絕壁，最終導致難以挽回的技術債。這是一篇關於如何避免 MCP 專案從成功走向失敗的警世文。

AI 治理的真正瓶頸：從人工審核到自動化驗證

AI 治理的真正瓶頸：從人工審核到自動化驗證

當 AI 應用在企業內遍地開花，您是否正為日漸龐大的人工審核成本所苦？本文將深入剖析，如何將傳統的 AI 治理模式，從耗時費力的人力審查，轉型為高效、可規模化的自動化驗證管線。探索將評估標準結構化為機器可執行邏輯的關鍵步驟，徹底解放您的團隊，實現永續的 AI 規模化治理。

AI Agent 的「無伺服器」時刻：當 AWS Bedrock 將開發重心從編碼轉向系統設計

AI Agent 的「無伺服器」時刻：當 AWS Bedrock 將開發重心從編碼轉向系統設計

AWS Bedrock AgentCore 的「Managed Agent Harness」預覽功能，讓 AI Agent 開發從繁瑣的編碼轉向簡潔的宣告式配置。這不僅大幅降低了開發門檻，更預示著產業重心將從流程控制，轉移至更深層次的系統設計與治理。當 Agent 核心循環成為託管服務，真正的競爭力將來自於我們如何設計穩健工具、規劃有效知識庫，並建立完善的監

AI Agent 上線前的最後一哩路：為何我們需要從「結果驗收」走向「軌跡評估」？

AI Agent 上線前的最後一哩路：為何我們需要從「結果驗收」走向「軌跡評估」？

AI Agent 在生產環境中表現不穩定，傳統測試方法束手無策？本文深入解析為何我們必須將品質保證的重心，從單純的「結果驗收」轉向對 Agent 完整「執行軌跡」的嚴格評估。這不僅是為了提升可控性與可追溯性，更是打造可信賴、可診斷 AI 系統的關鍵策略，助您掌握 Agent 上線前的最後一哩路。

多代理系統的下一步：從預設流程圖到動態遞迴分工

多代理系統的下一步：從預設流程圖到動態遞迴分工

目前的多代理系統，常依賴我們預先畫好的流程圖來協作。但如果系統能根據任務的複雜度，動態生成解決問題的團隊呢？一個名為 ReDel 的新框架，正在探索這種「遞迴分工」的可能性。這或許才是讓 AI Agent 真正處理複雜、開放式問題的關鍵一步，讓它們從單純的執行者，進化為能夠自主規劃與組織的協作者。

不只是模型：Claude Code 的 Harness 如何打造自律的 AI 開發閉環

不只是模型：Claude Code 的 Harness 如何打造自律的 AI 開發閉環

AI 寫程式的競賽已進入下半場。當模型能力趨於一致，真正的差異在於如何將環境、工具與任務脈絡整合成可持續運轉的開發循環。本文從 Anthropic 的 Claude Code Harness 機制切入，探討 AI 如何從指令執行者，進化為能自主測試、修正、迭代的開發夥伴。

AI 推理能力的真正瓶頸：昂貴的「過程監督」與自動化的解方

AI 推理能力的真正瓶頸：昂貴的「過程監督」與自動化的解方

訓練 AI 進行複雜推理，最昂貴的不是模型本身，而是步步為營的「過程監督」資料。一篇新研究展示了如何用演算法自我生成監督訊號，這不僅大幅降低成本，更可能改寫 AI 能力擴張的遊戲規則。

從 few-shot 範例到高層次推理：AI 思考模式的下一次演進

從 few-shot 範例到高層次推理：AI 思考模式的下一次演進

我們習慣用 few-shot 範例引導大型語言模型，但這就像只給學生看例題，卻不教解題方法。一篇新研究提出，讓模型學習抽象的「推理模式」，而非記憶特定範例，能讓小模型在複雜任務上超越 GPT-4o，這可能預示著提示工程與模型推理能力的下一個典範轉移。