Agent 原生介面的終局：一份寫在 Markdown 裡的 Context Contract

Agent-native 介面的關鍵不是把 GUI 換成文字，而是把資訊、可行動範圍與權限做成可分層揭露的 context contract。當系統只在需要時提供語義化脈絡，Agent 才能降低噪音、減少誤操作，並在正確邊界內執行，讓效率提升不必以可治理性為代價。

為什麼讓 Agent「看懂」GUI 是一條死路？

讓 AI Agent 透過視覺模型與 GUI 互動，本質上是一種「繞遠路」的暴力解法。GUI 的設計初衷是為了服務人類的視覺認知與直覺操作，充滿了對機器而言毫無意義的冗餘資訊，例如版面配置、色彩風格、動畫效果等。Agent 必須先將螢幕截圖轉換成高維度的 token，再從中過濾出關鍵的互動元素與文字資訊，這個過程就像是讓一個超級電腦去玩「大家來找碴」。

這種方法的缺陷顯而易見：

• 高昂的成本與延遲：處理圖像需要巨大的運算資源，每一次的觀察與決策都伴隨著高昂的 token 成本與顯著的延遲，難以實現複雜任務的即時反應。
• 脆弱的穩定性：任何微小的 UI 變動，例如按鈕位置的偏移、顏色的更換，都可能導致 Agent 的操作鏈完全失效。這種基於像素位置的互動方式，缺乏語義層面的穩定性，正如 WebArena 等基準測試所揭示的，當前 Agent 在真實世界的網頁環境中依然步履維艱。
• 模糊的權限邊界：在 GUI 環境中，Agent 的權限邊界是隱性的。系統很難區分 Agent 是在點擊「儲存」按鈕，還是在誤點旁邊的「刪除所有資料」。這為系統的安全與治理帶來了巨大挑戰。

String OS：當作業系統成為一份份 Markdown 文件

一篇於 2026 年 8 月發表的論文 《String: An Agentic OS Where Every App Is a Markdown File》，提出了一個極具啟發性的解決方案。其核心思想是，將作業系統中的應用程式、檔案、甚至系統狀態，全部抽象化為結構化的 Markdown 文件。這個系統並非真的用 .md 檔案取代了所有執行檔，而是建立了一個運行時（runtime），將所有系統資源以一種名為「結構化功能性 Markdown」（Structured Functional Markdown, SFMD）的格式呈現給 Agent。

在 String OS 的世界裡，Agent 不再需要「看」螢幕，而是「讀」一份份清晰的 Markdown 文件。這份文件不僅描述了當前的狀態（View），還明確列出了可執行的操作（Actions）與其對應的權限（Permissions）。例如，一個郵件應用的 SFMD 可能會這樣呈現：

# Email Client

## Inbox (3 unread)
- [ ] From: Alice, Subject: Project Update
- [ ] From: Bob, Subject: Lunch tomorrow?

## Actions
- `compose(to, subject, body)`
- `reply(message_id, body)`
- `delete(message_id)`

## Permissions
- `can_send: true`
- `can_delete: true`

這種做法帶來了驚人的效益。根據該論文在 gno-eval 基準上的測試，透過這種語義化、去噪音的介面，Agent 的任務執行錯誤率從傳統介面的 28% 大幅降低至 2%。這不是漸進式的改良，而是典範轉移級別的躍進。

如何將介面設計成一份有效的 Context Contract？

String OS 的成功，關鍵不在於選擇了 Markdown 這個語法，而在於它背後所體現的「Context Contract」設計哲學。這份合約的核心，是將 Agent 與系統之間的互動，從模糊的模仿轉變為精確的溝通。一份好的 Context Contract 應具備三個要素：

1. 分層的資訊揭露（Layered Information Disclosure）：系統只提供與當前任務直接相關的最小必要資訊，徹底屏除無關的 context 噪音。Agent 不需要知道按鈕是藍色還是紅色，只需要知道有一個名為 `send_email` 的功能可以呼叫。
2. 語義化的行動空間（Semantic Action Space）：將所有可執行的操作定義為具體的、帶有參數的函式，而非抽象的 UI 互動。這與 OpenAI 的 Function Calling 或 Google Cloud 的 API 設計指南在精神上不謀而合，都是將模糊的自然語言意圖，映射到確定性的程式化操作上。
3. 明確的權限邊界（Explicit Permission Boundaries）：權限不再是隱含在 UI 佈局中的風險，而是白紙黑字寫在合約裡的條款。系統可以精確地授予或限制 Agent 的能力，這完美體現了資訊安全領域的「最小權限原則」（Principle of Least Privilege），為 AI 治理提供了堅實的技術基礎。

從這個角度看，未來 Agent-native 應用的開發，將更接近於設計良好的 API，而非繪製精美的 GUI。開發者的任務，是為 Agent 精心定義出一個個清晰、穩定且安全的 Context Contract。這種基於 結構化資料與語義溝通的範式，才能真正釋放 AI Agent 在複雜數位世界中自主執行任務的潛力，同時確保其行為始終處於可控、可信的範圍之內。

延伸閱讀

• String: An Agentic OS Where Every App Is a Markdown File
• WebArena: A Realistic Web Environment for Building Autonomous Agents
• OpenAI: Function Calling Guide
• Google Cloud: API 設計指南
• NIST: Principle of Least Privilege
• Schema.org

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。