成功的 AI Agent 不只是模型封裝：從 Notion 的實踐看見系統整合的價值
Notion 的 Custom Agents 歷經多年、數次重構才問世，這段艱辛歷程揭示了打造成功 AI Agent 的核心秘密：關鍵不在於模型本身，而是如何將其能力深度整合進既有的資料記錄、協作流程與回饋迴路。這不僅是技術挑戰，更是一場產品與組織設計的典範轉移，值得所有 AI 開發者深思。
許多人以為打造 AI Agent，就是把強大的語言模型包裝成一個產品。但從 Notion 推出 Custom Agents 的漫長歷程來看，這個想法顯然過於簡化。一個真正成功的 Agent，其核心並非模型本身，而是如何將模型的能力，深度整合進企業既有的資料記錄、協作流程與系統回饋迴路之中。這才是將 AI 從有趣的玩具，轉變為可靠生產力工具的關鍵。
Notion 在 AI 領域的投入由來已久，早在 ChatGPT 問世前便已開始。然而，他們最近推出的 Custom Agents 功能，卻是歷經了四、五次重構，耗費數年才打磨完成的成果。這段艱辛的過程，恰好揭示了建構實用 AI Agent 的真正挑戰所在。
為什麼早期的 Agent 嘗試容易失敗？
回顧 2022 年，Notion 的早期 Agent 實驗並不順利。當時的團隊面臨著幾個根本性的障礙，這些挑戰也普遍存在於許多開發團隊的經驗中。首先，**模型能力的限制**是個大問題：早期的語言模型不僅上下文視窗（context windows）較短，推理能力也不穩定，難以處理複雜的多步驟任務。即使是現在的模型，若沒有鏈式思考（Chain-of-Thought）等提示工程技巧輔助，表現也可能不如預期。其次，當時**缺乏標準化的工具調用**機制，開發者需要自行設計複雜的系統，才能讓模型穩定地與外部 API 或資料庫互動。最後，早期的設計往往會將**過高的系統複雜度直接暴露給模型**，導致模型的「認知負荷」過重，頻繁出錯且難以除錯。
這些問題的共同點在於，它們都無法單靠更換一個更強大的模型來解決。這讓 Notion 團隊意識到，他們不能「逆流而上」，對抗模型的根本限制。真正的突破口，在於重新思考 Agent 與其所在「環境」的關係。
如何打造一個 Agent 原生的協作系統？
Notion 的答案，是將一個生產力工具，轉變為一個「Agent 原生的記錄系統」（agent-native system of record）。這意味著產品的設計，從一開始就要同時考慮人類與 Agent 的使用需求。這背後的哲學，我稱之為「Agent Lab」模式：重點不是封裝模型，而是圍繞著模型的前沿能力，去建構正確的產品系統。
成功的 AI Agent 系統，是將模型能力深嵌於資料記錄、協作流程與系統回饋迴路中，而不僅僅是作為一個獨立的功能存在。
一個絕佳的例子是 Notion 的會議記錄（Meeting Notes）功能。它表面上是個轉錄工具，但實際上，它是一個強大的「高訊號資料捕獲機制」。一場會議的討論、決策與待辦事項，被結構化地記錄下來，成為 Agent 可以輕易讀取、理解與利用的「記憶」。當一個 Agent 需要查詢某個專案的背景時，它不再需要大海撈針，而是可以直接在這些高品質的資料中找到答案。這就是將 Agent 深嵌於資料記錄的體現。
同樣的，Notion 內部也為 Agent 開發了一套從早期 JavaScript、客製化 XML，一路演進到類似 Markdown 與 SQL 抽象語法的「工具套件」（agent harness）。透過漸進式地揭露工具（progressive tool disclosure），系統只在必要時提供 Agent 所需的工具選項，大幅降低了模型的決策難度，從而提升了執行的穩定性。這正是將 Agent 深嵌於工作流程的實踐。
AI 時代的工程文化與評估哲學該如何演進？
要實現上述的系統性整合，光有技術架構還不夠，更需要相應的組織文化與工程實踐來支持。在與 Notion 團隊的交流中，我觀察到他們在 AI 工程文化與評估哲學上的獨到之處。
首先，他們的團隊文化強調「目標導向」而非「點子所有權」，成員必須有著「低自尊」（low-ego）的心態，隨時準備好刪除自己數週的辛勞成果，以擁抱快速變化的機會。這種文化，是應對 AI 技術飛速迭代的必要條件。
其次，Notion 建立了一套獨特的模型評估（eval）哲學。除了確保產品品質的回歸測試與上線評估外，他們還設計了一種「前沿/餘裕」（frontier/headroom）評估，這種評估的目標通過率刻意設定在 30% 左右。其目的不是為了檢驗當下，而是為了探索模型能力的邊界，預見未來幾個月的可能性，讓產品路線圖能與模型進展保持同步。
為了執行這套評估哲學，他們甚至設立了「模型行為工程師」（Model Behavior Engineer）這樣的獨特職位。這個角色的職責不是傳統的軟體開發，而是專注於撰寫評估案例、進行失敗分析，並深入理解模型行為。這顯示了他們將「理解模型」本身視為一項核心的工程專業。許多團隊在建構有效的 Agent 時，往往會忽略這個至關重要的環節。
從 Notion 的經驗中，我們可以看到，打造一個真正能融入工作流程的 AI Agent，是一項系統工程。它挑戰的不僅是我們的技術能力，更是我們對於產品設計、團隊協作與價值評估的根本思維。未來，軟體工程師的角色，可能將從寫程式碼的執行者，轉變為監督由多個 Agent 組成的「軟體工廠」的系統設計師。這是一個巨大的轉變，而 Notion 已經走在這條探索的路上。
延伸閱讀
我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。