Agent 的能力試金石：為什麼 CLI 才是比聊天室更真實的考驗？

我們該如何判斷一個 AI Agent 是否真的能勝任工作？這個問題的答案，恐怕不在它於聊天室裡多會解題或寫詩，而在於它能否在樸素卻強大的命令列介面（Command Line Interface, CLI）中存活並完成任務。長久以來，我們習慣透過對話來評估 AI，但這種方式忽略了真實世界工作的複雜性。

一份發表於 2026 年 1 月的研究，提出了名為 Terminal-Bench 的全新基準測試框架。這項研究有力地提醒我們：CLI 不僅是檢驗 Agent 自主能力的終極試煉場，更因為它能同時暴露 Agent 在長程規劃、權限管理、安全意識與錯誤恢復等方面的真實能耐。

為什麼聊天室裡的成功，不等於真實世界的成功？

在一個隔離的聊天視窗中，Agent 與世界的互動是簡化且可預測的。它接收一個提示，輸出一段文字或程式碼，任務就結束了。這個過程幾乎沒有副作用，也不需要考慮狀態的延續性。然而，真實的開發或維運工作並非如此。

工程師不是在真空中工作，而是在一個充滿限制與相依性的環境中操作。我們需要管理檔案系統、設定環境變數、處理網路連線、應對權限錯誤，並使用一連串的工具（如 Git、Docker、SSH）來完成一個看似簡單的目標。

每一個指令都可能改變系統狀態，甚至引發意想不到的連鎖反應。例如，一個錯誤的 rm -rf 指令造成的災難，是聊天室裡的程式碼生成任務完全無法模擬的。

現有的基準測試如 SWE-bench 雖然在評估程式碼修復能力上很有價值，但它們大多仍將問題簡化為「輸入問題、輸出程式碼」的單一回合挑戰。這與一位真實的開發者需要透過數十個步驟、在終端機中不斷試錯、除錯、驗證的工作流程，有著根本上的差距。

CLI：Agent 能力的終極試煉場

這正是 Terminal-Bench 這類新一代基準測試試圖解決的問題。它不要求 Agent 寫出完美的程式碼，而是要求它在一個模擬的 Linux CLI 環境中，完成需要多步驟、長週期才能達成的複雜任務。例如，設定一個網頁伺服器、診斷並修復一個損壞的資料庫，或是從一個複雜的日誌檔案中提取特定資訊。

在這樣的環境下，Agent 的能力光譜被徹底拉開。它必須：

• 進行長程規劃：將「部署一個應用程式」這種模糊的目標，拆解成一系列具體的 Bash 指令，並依序執行。
• 理解環境狀態：知道目前在哪個目錄、有哪些檔案、哪些服務正在運行。
• 熟練使用工具：不只是寫程式，還要會用 Git 進行版本控制，用 curl 測試 API，用 grep 與 sed 處理文字。
• 處理錯誤與意外：當一個指令失敗時，它不能只是放棄，而必須讀懂錯誤訊息，並嘗試用不同的方法解決問題。
• 注意安全與權限：它要知道什麼時候該用 sudo，以及為什麼不能隨意更改核心系統檔案的權限。

這是一個根本性的轉變：評估的重點從「解決一個封閉問題」的能力，轉向了「在一個開放環境中操作並達成目標」的能力。

這種轉變讓我們想起 OpenAI Codex 剛問世時的驚艷，它展示了 AI 理解並生成程式碼的潛力。但我們現在追求的，是能將這種潛力轉化為在真實系統中自主工作的能力。正如 Anthropic 在其工程部落格中提到的，建構有效的 Agent，關鍵在於讓它們能夠可靠地使用工具並從回饋中學習。

我們該如何評估一個 Agent 的真實能耐？

當我們評估或選擇一個 Agent 時，不應再滿足於它在聊天介面上的流暢對答。我們應該將它放入一個接近真實的 CLI 環境，給它一個需要超過 10 個步驟才能完成的任務，然後觀察以下幾點：

首先，是它的規劃與拆解能力。它能否制定出一個合理的執行計畫？還是像無頭蒼蠅一樣，隨機嘗試各種指令？一個好的 Agent 應該能像有經驗的工程師一樣，先用 ls -la 查看環境，再決定下一步動作。

其次，是它的錯誤恢復能力。當遇到「permission denied」或「command not found」時，它的反應是什麼？是卡住不動，還是會去搜尋解決方案，或是嘗試修正自己的指令？在真實世界中，處理失敗的能力遠比一次就成功更重要。

最後，是它的效率與資源意識。它會不會執行一些冗餘或極度耗時的指令？它對自己行為可能造成的後果（例如磁碟空間佔用、網路流量）是否有基本的概念？

總結來說，將 Agent 從舒適的聊天室「請」到充滿挑戰的 CLI 環境，是一次必要且嚴苛的壓力測試。這不僅能讓我們更準確地衡量它們的真實能力，也為我們指明了未來發展的方向：打造不僅會「說」，更會「做」的 AI 系統。只有通過了 CLI 這塊試金石的考驗，我們才能真正信任一個 Agent，並將它無縫整合到我們的工作流程中，讓 AI 成為我們真正的得力助手。

延伸閱讀

• Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。