AI Agent 落地難？問題不在模型，在於我們還沒有穩健的運行平台

近來 AI Agent 的討論聲量很高，從能自主編寫程式碼到完成複雜的市場分析，各種展示（demo）讓人對未來充滿想像。然而，一個殘酷的現實是，絕大多數 Agent 應用仍停留在概念驗證（Proof of Concept）階段，離真正進入企業生產環境、穩定交付價值還有很長一段路。許多人直覺地認為，瓶頸是底層的大型語言模型（LLM）不夠聰明，只要等待 GPT-5 或下一代更強的模型出現，問題便迎刃而解。但我認為，這並非問題的全貌。真正的挑戰，在於我們極度缺乏一個穩健、可觀測、可管理的「Agent 運行平台」。

當前的 Agent 要從控制良好的實驗室環境走向混亂的真實世界，真正缺的不是更強的推理能力，而是一個能夠支撐它運行的基礎設施。這個平台層必須妥善處理工具使用、狀態管理、權限控制、任務觀測與使用者回饋等一系列工程問題。少了這些關鍵支撐，再聰明的 Agent 也只是一個難以預測、無法管理的黑盒子，自然難以贏得講求可靠性的商業場景信任。

為什麼多數 Agent 應用仍停留在概念驗證階段？

目前許多令人驚豔的 Agent 展示，大多基於像 ReAct (Reasoning and Acting) 這樣的思維框架，讓模型能夠進行「思考-行動」的循環，並透過呼叫外部工具（API）來完成任務。這個模式在單一、目標明確的任務上表現優異，但在真實世界中，很快就會碰到天花板。

真實世界的任務是複雜且長期的，往往需要與多個系統互動，並在過程中持續保持狀態。一個 Agent 可能需要先瀏覽網頁收集資料，接著呼叫內部數據分析工具進行整理，最後再生成一份報告。這個過程可能長達數小時甚至數天。這就帶來了幾個核心的工程挑戰：

• 工具的穩定性與互通性： 如何管理數十甚至上百個來自不同提供者的 API？如何確保格式一致？API 故障或回傳非預期結果時，Agent 該如何應對？
• 狀態的持久化與追蹤： 長時間運行的任務中，Agent 的「記憶」或「工作狀態」該如何儲存？如果中途失敗，能否從上一個檢查點恢復，而不是從頭來過？
• 權限與安全性： Agent 擁有操作外部工具的能力，這也意味著潛在的安全風險。如何設計一套精細的權限系統，確保 Agent 只在被授權的範圍內行動，避免誤刪檔案或洩漏敏感資訊？
• 可觀測性與除錯： 當 Agent 的行為不如預期時，我們有辦法追蹤它的每一步「思考」與決策過程嗎？這對於迭代優化與排除錯誤至關重要。

這些問題都不是單靠一個更強大的 LLM 就能解決的，它們需要一個專門設計的平台層來系統性地應對。

OpenAgents：一個走向平台化的具體實踐

正是在這樣的背景下，學術界與開源社群開始將目光從 Agent 的「大腦」（LLM）轉向它的「身體」與「神經系統」（運行平台）。2023 年 10 月發表的論文《OpenAgents: An Open Platform for Language Agents in the Wild》就是一個很好的例子。

OpenAgents 的目標非常明確：建立一個開放平台，讓開發者與使用者能在更貼近真實世界的環境中部署、測試及與 Agent 互動。它並非專注於提出全新的 Agent 演算法，而是著力於打造一個可用的框架。這個平台整合了三種常見的 Agent 應用場景：

1. 數據分析代理（Data Agent）： 專門處理 Python、SQL 等數據分析任務。
2. 外掛工具代理（Plugins Agent）： 能夠使用超過 200 個真實世界的第三方外掛程式。
3. 網頁瀏覽代理（Web Agent）： 能在真實網站上進行瀏覽、點擊、填表等操作。

OpenAgents 的核心價值不在於其 Agent 有多聰明，而在於它提供了一個統一的介面與後端服務，來應對真實世界中工具的多樣性與環境的複雜性。這正是平台化思維的體現。

透過提供一個實際可用的使用者介面與部署方案，OpenAgents 讓 Agent 的評估不再局限於學術性的基準測試（benchmark），而是能夠收集真實使用者的回饋，從而在現實世界中持續迭代。這一步，是 Agent 從玩具走向工具的關鍵。

一個好的 Agent 平台還需要具備什麼？

OpenAgents 描繪了一個好的起點，但一個真正成熟的 Agent 平台，還需要更多元的組件來應對更複雜的協作與控制流程。在這方面，一些開源專案的發展方向，為我們提供了更清晰的藍圖。

例如，微軟推出的 AutoGen 框架，專注於讓多個 Agent 透過對話進行協作，來完成單一 Agent 難以處理的複雜任務。這解決了任務拆解與專業分工的平台層問題。而 LangChain 團隊的 LangGraph 則將 Agent 的工作流程建模成一個狀態圖（state graph），讓開發者能更精準地控制 Agent 的行為迴圈，而不是讓它無限制地自由發揮。這對於提升 Agent 的穩定性與可預測性至關重要。

正如 Anthropic 在其工程部落格文章《Building effective agents》中所強調的，建構高效 Agent 的過程，充滿了大量的實驗、除錯與迭代。一個好的平台必須提供強大的觀測工具，讓開發者能輕易地看見 Agent 的每一步決策軌跡、工具輸入輸出，以及模型的內心獨白。唯有如此，我們才能在 Agent 犯錯時快速定位問題，並透過調整提示（prompt）、工具或流程來進行修正。

總結來說，我認為 Agent 技術的下一個突破點，將發生在平台層的創新。我們正在從「如何讓 Agent 更聰明？」的階段，過渡到「如何讓 Agent 可靠地工作？」的階段。未來，成功的 Agent 應用，背後必然有一個強大的運行平台在支撐。這場競賽的焦點，已不再只是模型本身，而是圍繞著模型建立的整個生態系統。

延伸閱讀

• OpenAgents: An Open Platform for Language Agents in the Wild
• AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation
• LangGraph: Building agents as graphs
• Building effective agents

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。