超越聊天機器人：Agent 系統的真正瓶頸與未來
隨著 AI 推理成本持續探底，Agent 系統的瓶頸已不再只在模型本身，而開始轉向介面與驗證設計。本文聚焦下一代 Agent 產品真正的競爭核心：如何用更高頻寬的人機互動與更嚴密的 review loop，讓 AI 真正融入複雜工作流。
隨著大型語言模型的推理成本持續探底，AI Agent 系統的發展瓶頸已悄然轉移。過去我們關注模型是否足夠聰明，如今的挑戰則是人機互動的頻寬是否足夠寬闊。當複雜的任務規劃與執行結果驗證成為新的效率障礙時，下一代 Agent 產品的競爭核心，將不再是提示詞工程的巧思，而是介面設計與審查迴圈（review loop）的根本性革新。這不僅是技術問題，更是決定 Agent 能否真正落實於複雜工作流的關鍵。
當 AI 思考的成本趨近於零，這意味著什麼？
過去幾年，我們見證了大型語言模型（LLM）能力的飛躍，也習慣了其高昂的運算成本。但這個時代正在迅速結束。以 OpenAI 的模型為例，從 GPT-4 到 GPT-4 Turbo，每百萬 token 的輸入成本下降了 3 倍，輸出成本也下降了 2 倍。而最新的 GPT-4o 模型，在具備同等智能水準的前提下，價格更是只有 GPT-4 Turbo 的一半。Anthropic 的 Claude 3 家族也提供了從 Haiku、Sonnet 到 Opus 的不同選項，其最便宜的 Haiku 模型處理速度極快，成本極低，足以支撐高頻率的 Agent 運作。
這意味著什麼？這意味著過去被視為奢侈的複雜推理鏈、多步驟任務規劃、自我反思與修正（self-correction）等 Agent 行為，其邊際成本正快速趨近於零。我們可以讓 Agent 執行數十甚至數百個步驟的思考，而不用擔心帳單爆炸。當模型能力與推理成本不再是主要限制時，真正的瓶頸便浮現於系統的其他環節：我們如何有效地指揮 Agent，以及如何驗證它交付的成果？
為什麼傳統聊天介面已成瓶頸？
目前絕大多數與 AI 互動的介面，仍然是繼承自 ChatGPT 的一維、線性的聊天對話框。這種介面對簡單、單一意圖的任務（例如「幫我摘要這篇文章」）非常有效，但對於需要精確定義、多步驟執行的複雜 Agent 任務，它就顯得捉襟見肘。
想像一下，你需要委託 Agent 完成一項商業分析任務：「分析公司上一季度的銷售數據，找出表現最差的三個產品線，為每個產品線製作一份包含核心問題與改善建議的簡報，最後生成一封措辭專業的內部郵件草稿給相關部門主管。」
試圖用一段自然語言提示詞完整、無歧義地表達這個需求，幾乎是不可能的。Agent 在執行過程中，你也很難監控它的進度、檢查其中間產出（例如數據清理的結果是否正確），或是在某個步驟出錯時即時介入修正。傳統聊天介面在此類場景下的限制主要有：
- 低頻寬（Low-bandwidth）：自然語言本質上是模糊且資訊密度較低的，難以承載複雜任務所需的結構化參數、條件與限制。
- 缺乏結構化（Unstructured）：所有指令、資料、回饋都混雜在同一個對話流中，難以管理與追溯。
- 修正困難（Hard to correct）：當 Agent 在第 7 步出錯時，你無法只針對第 7 步進行修正，往往需要修改提示詞後從頭來過，極其低效。
- 非同步協作不易（Poor for async work）：複雜任務需要時間執行，使用者無法一直停留在聊天視窗前等待，但現有介面很少為這種非同步的人機協作模式進行優化。
正如 Legora 的技術長 Jacob Lauritzen 在 AI Engineer Conf 2024 的演講中所指出的，Agent 系統需要的遠不止一個聊天框。我們需要的是能夠處理複雜性、支持迭代、並提供清晰可見性的互動範式。
如何設計下一代 Agent 的互動介面？
既然瓶頸在於人機互動，那麼下一代 Agent 產品的競爭力，就取決於能否設計出更高頻寬、更具可操作性的介面與驗證機制。這意味著產品設計的重心，將從提示詞工程轉向互動設計與工作流管理。未來的 Agent 介面可能具備以下特徵：
1. 結構化的任務定義介面
與其讓使用者費力撰寫完美的提示詞，不如提供類似表單、設定檔或視覺化節點編輯器（node-based editor）的介面。這能讓使用者清晰地定義目標、輸入資料來源、設定約束條件與期望的輸出格式，將任務的「規劃」階段從隱性的自然語言溝通，變為顯性的參數設定。
2. 可觀測、可介入的執行過程
Agent 的執行不應是一個黑盒子。一個好的介面會將 Agent 的思考鏈（Chain of Thought）或任務計畫以流程圖、時間軸或日誌的形式呈現出來。使用者可以即時查看每一步的中間結果，如同在 IDE 中對程式碼進行偵錯一樣。當發現問題時，可以直接暫停、修改某個步驟的參數或指令，然後從該點繼續執行，而非全盤重來。這正是Microsoft AutoGen 這類多 Agent 框架在底層試圖解決的問題——讓複雜的協作流程變得透明且可控。
3. 高效的驗證與回饋迴圈
對於 Agent 生成的複雜產出（如程式碼、分析報告、設計稿），單純的文字預覽是不夠的。介面需要提供一個可互動的「預演環境」（staging area），讓使用者在最終接受成果前，能方便地進行修改、比對版本、並提供精確的回饋。這種「人在迴路」（Human-in-the-loop）的設計，尤其是針對結果的驗證，如 Chain-of-Verification 等研究所示，是確保 Agent 產出品質與可靠性的關鍵。
我們可以透過一個簡單的比較，來理解這種範式轉移：
| 特徵 | 傳統聊天介面 | 下一代 Agent 介面 |
|---|---|---|
| 互動模式 | 線性對話 | 視覺化工作流、非同步 |
| 輸入方式 | 自然語言提示詞 | 結構化表單、圖形節點 |
| 修正機制 | 重新提問、修正提示詞 | 步驟級偵錯、中途介入 |
| 輸出呈現 | 純文字或單一檔案 | 可互動的預覽、多元件儀表板 |
總結來說，隨著模型本身逐漸商品化（commoditized），真正的差異化將來自於產品層。能夠打造出高效、直觀、可靠的人機協作系統，讓使用者能輕鬆駕馭強大 AI 核心的團隊，將在下一波 Agent 技術浪潮中脫穎而出。這場競賽的焦點，已經從模型本身，轉移到了我們與模型溝通的橋樑之上。
延伸閱讀
- 講演リテラチャノート：AI Agents need more than a chat
- OpenAI API Pricing
- Microsoft AutoGen: Enabling next-generation LLM applications
- [2309.11495] Chain-of-Verification Reduces Hallucination in Large Language Models
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。