AI 代理的真正瓶頸：為何基礎設施的三道高牆，比模型更關鍵
當 AI 代理從實驗室走向實用，真正的瓶頸往往不是模型本身，而是背後基礎設施是否能同時做好隔離、擴展與攻擊面管理。當系統需要瞬間啟動大量安全沙箱時，基礎設施能力就成了 AI 代理能否大規模落地的真正上限。
關於 AI 代理的討論，往往過度聚焦於模型能力——哪個 LLM 更聰明、推理能力更強。然而，當我們將代理從實驗室推向實際應用時，真正的瓶頸並非模型本身，而是其下方的基礎設施。當一個複雜任務需要瞬間啟動數以萬計的安全沙箱來平行執行時，系統的隔離、擴展與攻擊面管理能力，就成了代理能力的上限。這不再是模型智商的問題，而是整個系統能否提供一個既安全又高效的執行環境，這才是決定 AI 代理能否實用化的關鍵。
這個觀點在 Latent Space 的一集 podcast 中得到了具體印證。雲端運算平台 Modal 的 CTO Erik Bernhardsson 提到，在進行強化學習（Reinforcement Learning）的 rollout 時，他們有時需要在瞬間啟動「十萬個沙箱」。這個數字令人震驚，它揭示了代理應用的真實運算需求：大規模、高併發、且必須在嚴格隔離的環境中執行。這也意味著，我們對基礎設施的思考方式，需要從傳統的開發者體驗（Developer Experience, DX）轉向為代理量身打造的「代理體驗」（Agent Experience, AX）。要實現這一點，必須先克服三道高牆。
第一道牆：如何為每個代理任務打造獨立且安全的牢籠？
代理的核心是自主執行程式碼與呼叫 API。這代表每個代理任務都像一個黑盒子，我們無法完全預測其行為。因此，「隔離」（Isolation）成了部署代理的首要安全前提。如果一個代理任務能夠讀取到另一個不相關任務的資料，或甚至影響主機系統，後果不堪設想。我們需要為每個任務、甚至任務的每個步驟，都提供一個乾淨、獨立、用完即焚的執行環境。
傳統的虛擬化技術，如虛擬機器（VM）或容器（Container），在隔離性上表現不錯，但它們的啟動速度往往跟不上代理的需求。VM 的啟動以分鐘計，而像 Docker 這類容器雖然快得多，但在需要瞬間啟動數萬個的場景下，其啟動延遲與資源開銷依然是個問題。這也是為什麼輕量級虛擬化技術，如 Firecracker（AWS Lambda 底層的技術），會變得如此重要。它能在 125 毫秒內啟動一個 microVM，提供了接近裸機的效能與強大的安全隔離，是專為這種高密度、高併發的 serverless 場景而生。
代理的執行環境必須像一個個獨立的細胞，彼此間有著無法穿透的細胞壁。任何形式的交叉感染，都可能導致系統性崩潰。
第二道牆：當需求從一到十萬，基礎設施如何瞬間擴展？
代理任務的運算負載與傳統 Web 服務截然不同。它不是平滑增長的曲線，而是充滿了突發的、大規模的峰值。前述 Modal 的「十萬個沙箱」案例，就是典型的「扇出」（fan-out）模式：一個主任務分解成數萬個子任務，平行處理後再將結果匯總。這種運算模式對基礎設施的「擴展性」（Scalability）提出了極端要求。
系統必須具備在幾秒鐘內，從零擴展到數萬個運算實例的能力，並在任務結束後迅速回收資源，避免浪費。這遠遠超出了手動管理或傳統 auto-scaling 群組的能力範圍。
這正是 Modal 或 Ray 這類專為分散式運算設計的框架所要解決的核心問題。它們透過預先準備好的環境映像檔、高效的任務調度器與無伺服器架構，將基礎設施的複雜性抽象化，讓開發者能專注於業務邏輯，而非底層的資源調度。實現這種瞬間擴展能力，是代理從單一工具走向大規模協作系統的基礎。
第三道牆：代理的自主性，也放大了攻擊面
最後一道牆，也是最棘手的一道，是「攻擊面」（Attack Surface）管理。代理被賦予了與外部世界互動的能力——讀取檔案、瀏覽網頁、呼叫 API。這種自主性使其成為極具吸引力的攻擊目標。攻擊者可能透過各種手段來操縱代理的行為，例如：
- 惡意輸入：透過精心設計的提示詞（Prompt Injection）或輸入資料，誘騙代理執行非預期的惡意操作，例如刪除檔案或洩漏敏感資訊。相關研究如 《Agent Smith: A Single Agent to Hack Public API-Based LLM Agents》 就探討了這類風險，而更廣泛的 LLM 安全與隱私議題，則可參考這份綜合性研究報告。
- 工具漏洞：代理所使用的外部工具或 API 本身可能存在安全漏洞，成為攻擊者入侵的跳板。
- 權限過高：如果給予代理過於寬鬆的權限（例如，完整的檔案系統存取權），一旦被攻陷，其破壞力將會被無限放大。
因此，一個成熟的代理基礎設施，必須內建一套強大的治理與安全機制。這包括嚴格的權限控管（Principle of Least Privilege）、對所有外部呼叫的審計日誌、可疑行為的即時監控與熔斷機制。安全不再是事後補救，而必須從一開始就融入基礎設施的設計之中。
總結來說，推動 AI 代理走向實用化的真正動力，將來自於基礎設施層的創新。當我們不再需要擔心如何安全、快速地啟動成千上萬個運算環境時，開發者才能真正釋放模型的潛力，專注於打造更複雜、更有價值的代理應用。這三道高牆——隔離、擴展與攻擊面管理——是我們通往智慧代理未來的必經之路。
延伸閱讀
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。