當模型能力商品化，AI 的競爭焦點正從 Prompt 轉向代理環境

大型語言模型（LLM）的能力正快速趨於成熟，基準測試分數的差距也日益縮小。我認為，AI 產業的競爭焦點，已悄然從模型優化與提示工程（Prompt Engineering），轉移到更底層、更複雜的代理環境（Execution Environment）管理。當頂尖模型表現逐漸商品化，真正的差異化將不再是誰能寫出最精妙的 prompt，而是誰能為 AI 代理（Agent）建構最穩定、安全、高效的基礎設施。這場轉變預示著，未來 AI 應用的護城河，將建立在沙箱、工具接入、權限治理與任務編排等系統工程能力之上。

當模型能力達到「夠好」的常態，接下來的競爭焦點是什麼？

近期的產業動態不斷印證這個趨勢。Google I/O 前後，市場傳聞最新的 Gemini 模型在基準測試上已能與 GPT-4 等級的模型並駕齊驅。與此同時，新創公司如 Cursor 推出的 Composer 2.5，也宣稱其性能與成本效益足以挑戰業界頂尖模型。當多家廠商都能提供「夠好」的模型時，「模型即產品」（The model is the product）的論述就顯得不夠全面了。

我認為，模型本身正快速地從產品核心變成一種可替換的元件，類似於雲端運算中的 CPU 或記憶體。過去我們投入大量心力在 prompt 的細微調整上，試圖從模型中榨出最後一絲性能；但未來，當基礎模型的能力達到一定水平後，這種努力的邊際效益將會遞減。真正的挑戰，將是如何圍繞這些強大的「大腦」，建構一個能夠讓它們安全、可靠地與真實世界互動的「身體」和「神經系統」。

為什麼執行環境（Execution Environment）是新的競爭壁壘？

一個強大的模型若缺乏良好的執行環境，其價值將大打折扣。這就像擁有一位天才，卻沒有給他書房、電腦和與外界溝通的管道。最近 Cloudflare 分享的一篇技術文章給了我們很好的啟示。他們利用 Anthropic 的模型對內部 50 個程式碼庫進行安全性測試，得出的結論非常深刻：

一個模型，無論多麼聰明，如果沒有一個好的「駕馭工具」（harness），就會遺漏很多東西⋯⋯真正的攻擊往往是將許多微小的漏洞串連起來。團隊需要專注於讓漏洞更難以串連（即使它們存在）和利用。

這段話完美點出了執行環境的核心價值。所謂的「harness」不僅僅是工具的集合，它更代表了一整套複雜的系統，負責多項關鍵任務。首先，它必須確保沙箱化（Sandboxing），提供一個隔離且安全的空間，讓 AI 代理執行任務，尤其是涉及程式碼執行或檔案系統存取時，避免對主系統造成潛在風險。

其次，執行環境需妥善管理工具與 API 接入（Tool & API Integration），決定代理如何呼叫外部工具、讀取文件、與資料庫互動，並處理回傳的結果。同時，權限治理（Permission Governance）也至關重要，它精細地控制代理在不同情境下的操作權限，確保它只做被允許做的事。最後，任務編排與狀態管理（Orchestration & State Management）則負責將複雜任務拆解成多個步驟，協調不同代理或工具的執行順序，並在長時間運行的任務中維持狀態一致性。

這些都不是單純的 prompt 技巧所能解決的，而是紮實的基礎設施工程問題。當競爭對手都能輕易換上最新的模型時，你所打造的這套穩定、高效、安全的執行環境，才會是難以被複製的長期優勢。

當前的競爭者如何佈局代理環境？

從市場上主要參與者的動作，我們能清晰地看到這場向基礎設施的轉移。例如，Anthropic 近期不僅收購了幫助開發者建構 SDK 的平台 Stainless，更在他們的 Claude Managed Agents 產品中加入了自架沙箱（self-hosted sandboxes）等功能，顯然是為了讓企業客戶能更安全、更可控地運行 AI 代理。

在開發者工具領域，Codex 的最新更新也極具代表性。它允許開發者透過手機遠端批准指令、回答問題，而實際的運算和檔案操作仍在本地的 Mac 或伺服器上執行。這正是執行環境設計的巧思：將人機互動介面與核心運算環境分離，在提升便利性的同時，確保了檔案、設定與憑證的安全性。

這類設計，以及像 Jason Liu 提出的一系列 Codex 工作流原語，都遠遠超出了模型本身的範疇，進入了系統架構的深水區。從更宏觀的視角來看，Coatue Management 的分析框架從「跟著 GPU 走」（follow the GPU）轉向「跟著 Gigawatt 走」（follow the gigawatt），也反映了同樣的趨勢。當算力本身變得普及，競爭的關鍵就轉移到了支撐這些算力運行的、更基礎的能源與資料中心設施。同樣地，在 AI 應用層，當模型能力變得普及，競爭的關鍵也必然轉向支撐這些模型運行的、更基礎的代理環境設施。

總結來說，我們正處於一個重要的轉折點。過去一年多，我們醉心於探索大型語言模型的潛能極限；而接下來，挑戰將是如何為這些強大的智慧體打造一個家。這需要我們從「提示詞藝術家」轉變為「系統建築師」，專注於那些看似枯燥但至關重要的基礎設施工作。因為在 AI 的下一個篇章，勝利將屬於那些不僅擁有最聰明的大腦，更為其配備了最精良身體的建設者。

延伸閱讀

• Cloudflare: Testing Anthropic's Claude 3 Sonnet for security vulnerabilities
• Codex: Introducing Codex for phone and Hooks
• Cursor: Introducing Composer 2.5
• Jason Liu: Codex Maxxing
• Benedict Evans: AI is eating the world

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。