當 API 走到盡頭：為什麼 UI 自動化是 LLM Agent 的最後一哩路

當前大型語言模型（LLM）Agent 的發展，正撞上一堵由 API 構成的隱形高牆。我們期待 Agent 能像人類一樣無縫地操作各種數位工具，但現實是，絕大多數的應用程式並未提供完整、公開的 API。這使得 Agent 的能力被侷限在一個理想化、API 化的世界裡。然而，當 API 無法覆蓋真實世界的工具鏈時，Agent 走向 UI 自動化，就不是旁門左道，而是突破封閉生態、擴張執行層能力的必然演化。這條路徑不僅務實，更可能定義下一代 Agent 的核心競爭力。

API 的美好幻象：Agent 在數位世界中為何屢屢碰壁？

在建構 Agent 系統時，我們的首選方案總是尋找穩定、可靠的 API（應用程式介面）。一個設計良好的 API 就像一扇為自動化敞開的大門，提供結構化的數據交換與功能調用，讓 Agent 的「大腦」（LLM）可以精準地指揮「手腳」（工具）完成任務。從發送一封 Gmail、查詢 Slack 訊息到觸發 GitHub Actions，API 驅動的自動化構成今日 Agent 技術的骨幹。

然而，這個 API-first 的世界觀存在一個根本性的盲點：它忽略了絕大多數使用者日常互動的數位環境，其實是一個個缺乏 API 的「圍牆花園」（walled garden）。

以台灣最普及的通訊軟體 LINE 為例，其官方提供的 Messaging API 主要為商業帳號與聊天機器人設計，一般個人用戶無法透過 API 來自動化收發訊息或操作自己的帳號。這道鴻溝普遍存在於：

• 封閉的生態系應用：許多即時通訊、社群媒體平台，為防止濫用或商業考量，刻意不提供個人自動化所需的 API。
• 傳統桌面軟體：大量專業領域的桌面應用程式（如設計、工程、財會軟體）從未考慮過 API 整合。
• 內部企業系統：許多公司的內部系統老舊，缺乏現代化的 API 接口。

這意味著，一個再聰明的 Agent，一旦任務需要操作到這些沒有 API 的環節，就會立刻束手無策。這正是 Agent 技術從實驗室走向真實世界應用時，所面臨的「最後一哩路」難題。

為什麼繞過 API、直接控制 UI 成為必然？

面對 API 的缺席，最直接、也最符合人類操作邏輯的解方，就是讓 Agent 學會「看」與「點」——直接與圖形使用者介面（GUI）互動。最近在 GitHub 上出現的一個專案 line-desktop-skill，便是一個極佳的例證。

這個專案的目標很明確：讓一個以 Claude Code 為核心的 Agent，能夠在 macOS 上直接控制 LINE 桌面版應用程式，實現讀取與發送訊息的功能。它的獨特之處在於，完全不需要 LINE 的 API token。

這個專案的巧妙之處在於，它透過 macOS 內建的 AppleScript 來識別與操作 LINE 視窗中的 UI 元件，例如聊天列表或輸入框。再結合 cliclick 這類命令列工具，就能精準模擬滑鼠點擊和鍵盤輸入。

Agent 透過執行這些腳本，便能像真人一樣「使用」LINE，實現收發訊息等功能。截至 2026 年 3 月 18 日的紀錄，這個小巧的開源專案已獲得 16 個星標，清楚地展示了這種方法的實用潛力。

這個案例揭示了 UI 自動化路線的幾個關鍵優勢：

1. 通用性：任何有 GUI 的應用程式，原則上都可以被自動化，無需等待官方釋出 API。
2. 權限模擬：Agent 操作的是使用者已經登入的應用程式實例，自然繼承了該使用者的所有權限與狀態，繞過了 API 授權的複雜流程。
3. 即時性：可以立即將現有的軟體整合進 Agent 的工作流中，無需漫長的開發或等待。

當然，UI 自動化也伴隨著挑戰，例如介面改版可能導致腳本失效（brittleness），以及穩定性的考驗。但這並非無解，而是驅動 Agent 技術朝向更穩健、更具適應性的方向發展。

UI 自動化是新概念嗎？從 RPA 到視覺 Agent 的演化之路

將 Agent 與 UI 自動化結合並非橫空出世的全新概念，它其實是與「機器人流程自動化」（Robotic Process Automation, RPA）的理念一脈相承。RPA 技術在過去十年間，已經在企業中被廣泛用來串連那些沒有 API 的老舊系統，透過模擬人類在桌面環境的操作來完成重複性任務。

傳統 RPA 的侷限在於其「智慧」程度不足，多半依賴寫死的規則與流程。而現在，LLM 的出現恰好補上了最關鍵的一塊拼圖：一個能夠理解複雜指令、進行動態決策的「大腦」。當 LLM 的推理能力與 UI 自動化的執行能力相結合，我們看到的就不再是僵化的腳本，而是一個真正意義上的「數位助理」。

更令人興奮的是，隨著多模態模型的成熟，例如 OpenAI 的 GPT-4V，Agent 的 UI 操作能力將迎來質變。過去的 UI 自動化多依賴於檢視應用的前端程式碼（DOM tree）或固定的 UI 元件 ID，相對脆弱。但具備視覺能力的 Agent 可以直接「看懂」螢幕截圖，理解「哪個是送出按鈕」、「在搜尋框輸入文字」等指令，就像人類一樣。

學術界也在積極探索這個方向，例如 WebArena 這類研究就致力於打造更真實的 Web 環境來訓練與評估能夠自主操作網頁的 Agent。

從這個角度看，UI 自動化不再是 API 不足時的妥協方案，而是 Agent 獲得與數位世界通用互動能力的基礎。它將 Agent 的執行層從抽象的 API 調用，擴展到具象的、像素級的真實操作平面，這一步，是通往通用人工智慧助理的關鍵。

延伸閱讀

• kaosensei/line-desktop-skill on GitHub
• AppleScript Language Guide (Official Documentation)
• WebArena: A Realistic Web Environment for Building Autonomous Agents (arXiv)
• GPT-4V(ision) System Card (OpenAI)

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。