電腦操作自動化的天花板在於理解上下文
Claude Copilot 和 Dispatch 能自動化滑鼠鍵盤操作，但它們的天花板是視覺理解，不是邏輯理解——真正的業務決策還是得人工把關。
Agent 能做什麼，取決於它看得懂什麼
Claude Copilot 和 Dispatch 這類工具把滑鼠鍵盤操作自動化，聽起來像是終極的生產力方案。但實際上，它們解決的問題比表面上窄得多。
這些工具的核心能力是：看到螢幕，理解視覺內容，然後執行對應的操作。聽起來簡單，但這裡有個根本的限制——它們理解的是「當下這一幀畫面」，而不是「這個操作背後的業務邏輯」。
視覺理解 vs 邏輯理解
舉個例子。一個 Agent 可以看到一個表格，識別出「銷售額」欄位，點擊它排序。但如果你的需求是「找出這個季度表現異常的地區」，它就需要：
- 知道「異常」在你的業務裡怎麼定義（同比增長率？絕對值？）
- 理解為什麼要先篩選季度，再看地區
- 判斷中途出現的警告訊息是否該中斷流程
這些都超出了「看到按鈕就點」的範疇。
真正的應用場景
這不是說這類工具沒用。它們在特定場景裡很有價值：
- 重複性高、規則明確的操作流程（報表導出、資料轉移、表單填寫）
- 跨系統的膠水工作（A 系統複製資料到 B 系統）
但別期待它們能自動化「需要判斷力」的工作。一旦涉及例外處理、優先級判斷、或對上下文的深層理解，你還是得人工介入。
架構的選擇
這決定了你怎麼用這類工具。有兩種思路：
第一種：把它當黑盒自動化工具。給它一個任務，期待它自己搞定。這在 99% 的情況下會失敗，因為現實中總有邊界情況。
第二種：把它當執行層。你的系統負責判斷「該做什麼」，Agent 只負責「怎麼做」。這樣才能建立可靠的自動化。
我傾向第二種。不是因為 Agent 不夠聰明，而是因為業務邏輯應該在你能控制和審計的地方。UI 自動化只是一個實現細節。
成本的問題
每次操作都要一個視覺推理迴圈。Claude 的 vision API 不便宜。如果你的流程是「每天 1000 次操作」，成本會快速累積。
這也是為什麼 API 直接整合（如果目標系統支援）通常還是更經濟。UI 自動化是備選方案，不是首選。
我現在怎麼看
這類工具的價值在於「最後一哩路」。當你已經有了自動化系統，但某個環節的軟體沒有 API、或整合成本太高，這時 UI Agent 才派上用場。
如果你從一開始就指望它來承載業務邏輯，那就是把決策權交給了一個不該有決策權的東西。
我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。