企業導入 AI 的真正瓶頸：當模型退居其次，基礎設施成為主角

企業導入生成式 AI 的討論，往往圍繞著模型選擇、訓練成本與應用場景。然而，當我們將目光從雲端拉回地端現實，會發現真正的挑戰與瓶頸，時常來自那些看似基礎卻極其棘手的基礎設施問題。從網路架構的限制、存取權限的劃分，到服務路由的複雜性，這些「看不見」的工程細節，正悄悄地將 AI 導入的門檻從模型的可得性（model choice）轉移到基礎設施的可操作性（infra operability），成為決定專案成敗的關鍵分野。

為什麼一個「簡單」的目標，卻可能撞上基礎設施的高牆？

最近，我觀察到一個有趣的案例。一間約 50 人規模的企業，其 AI 負責人（CAIO）的目標相當明確：為全體員工提供一個安全、可控、在公司內部管理的生成式 AI 服務，涵蓋聊天、程式碼輔助與 API 調用三種核心用途。這個目標聽起來非常合理，尤其在數據隱私與資安考量日益重要的今天，許多企業都希望能將部分 AI 工作負載留在自己的防火牆內。

然而，這個看似單純的專案，很快就撞上了一堵由基礎設施構成的現實高牆。問題的核心，來自一個多數人不會在第一時間聯想到的技術細節：公司的對外網路，處於 CGNAT（Carrier-Grade NAT，電信商級網路位址轉換）環境之中。

為什麼一個網路設定，會顛覆整個 AI 部署策略？

對於不熟悉網路工程的讀者，CGNAT 或許有些陌生。簡單來說，它是一種網路服務供應商（ISP）為了應對 IPv4 位址枯竭，而讓多個用戶共享同一個公開 IP 位址的技術。這對一般上網瀏覽的使用者影響不大，但對於需要從外部網路「連回家中」或「連回公司」的應用，卻是個致命的阻礙。

在 CGNAT 架構下，企業的內部伺服器沒有獨立的公開 IP，因此無法像傳統作法那樣，簡單地透過設定反向代理（Reverse Proxy）就將內部服務暴露給外部或指定使用者存取。

這個限制徹底改變了整個部署計畫。原本可能只需要一台內網伺服器、一個開源模型、加上 Nginx 或 Caddy 就能解決的問題，現在變成一個複雜的網路穿透與安全存取議題。所有依賴「公開 IP」的標準架構，例如直接設定 DNS 指向公司 IP，都變得不可行。

為此，團隊必須轉而尋求更迂迴、更複雜的解決方案，例如建立安全的 outbound-only tunnel，像是 Cloudflare Tunnel 或 Tailscale，才能讓外部或漫遊的使用者安全地連回內網的 AI 服務。

當 AI 策略遇上網路現實，再先進的模型也必須為基礎設施的限制讓路。這凸顯了一個常被忽略的重點：企業 IT 的歷史包袱與現實條件，才是決定技術路線的最終裁判。

當雲端模型無法滿足所有需求時，地端部署面臨哪些現實？

選擇在內部部署模型，通常出於幾個關鍵考量：資料隱私、法規遵循、降低高頻次推理的邊際成本，或是對模型進行深度客製化的需求。然而，一旦走向這條路，企業面對的就不再只是演算法問題，而是一系列環環相扣的維運（Operations）挑戰。這份挑戰清單，遠比選擇 Llama 3 或 Mistral 來得更為棘手：

• 存取控制與身份驗證：如何將 AI 服務與現有的身份驗證系統（如 Azure AD、Okta）整合？如何確保只有授權的員工、甚至特定部門的員工，才能存取特定的模型或 API？
• 資源調度與隔離：當多個使用者或應用程式同時請求 GPU 資源時，如何進行有效的排程、監控與配額管理，避免單一濫用者拖垮整體服務？
• 服務發現與內部路由：內部的其他應用程式（例如 BI 系統、客服軟體）要如何找到並穩定地與這個 AI 服務溝通？DNS、服務網格（Service Mesh）等議題開始浮上檯面。
• 可觀測性（Observability）：如何監控模型的運行狀態、推理延遲、Token 消耗量與錯誤率？這些數據對於服務優化與成本控制至關重要。

這些問題在學術界被統稱為 MLOps（機器學習維運），但對多數企業而言，它們更像是既有 IT 維運流程的延伸與挑戰。根據一份針對 MLOps 實踐的訪談研究，將模型從實驗室推向生產環境的過程中，最大的困難往往在於整合、部署與監控等工程環節，而非模型本身。

AI 導入的思維該如何轉變：從模型選擇到基礎設施維運？

過去幾年，AI 導入的焦點集中在「模型」——我們需要多大的模型？準確率有多高？有沒有更好的演算法？但隨著高品質的開源模型（如 Meta Llama 3）普及，模型的取得門檻已大幅降低。真正的門檻，正快速轉移到如何將這些強大的模型，穩定、安全、高效地「整合」進企業既有的、充滿限制與複雜性的 IT 環境中。

這意味著，企業在評估 AI 專案時，必須將基礎設施的「可操作性」拉到與模型性能同等，甚至更高的戰略位置。在招募人才時，比起只懂演算法的資料科學家，那些同時理解網路、資安、系統架構與 AI 模型的混合型人才，將會更有價值。正如史丹佛大學關於基礎模型風險的報告中所指出的，模型的部署與維護，是一個涉及深層次系統工程的社會技術挑戰（socio-technical challenge）。

回到最初的案例，那間 50 人的公司最終必須花費大量心力在解決 CGNAT 造成的網路問題上，而這些精力，原本可能被投入在更有價值的應用場景探索。這個故事提醒我們，下一次當我們興奮地討論某個新模型的強大能力時，或許應該先停下來問一個更根本的問題：「在我們公司的網路上，它跑得起來嗎？」

延伸閱讀：深入了解 AI 部署的幕後挑戰

• Cloudflare: What is Carrier-Grade NAT?
• Salehi, A., et al. (2022). Operationalizing Machine Learning: An Interview Study. arXiv:2205.02302.
• Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。