AI 自治不是模型秀肌肉，是人機合作的安全遊戲

Anthropic 的 Claude 代理人報告顯示，AI 自治其實是人機合作的產物，而不是模型本身的威力。

觀察：Claude 代理人的真實使用情況

各位最近有看到 Anthropic 公布的那份 Claude 代理人使用報告嗎？我第一眼看到「軟體工程佔 API 呼叫 50%」的時候，差點以為他們把整個開發團隊外包給 AI 了。

事實上，報告裡說只有 0.8% 的操作是不可逆的高風險動作，感覺安全機制還蠻給力的。

很多人會以為只要模型夠大、夠厲害，AI 就能自己跑完所有任務。可是這份數據直接把這個迷思敲回去：一半以上的 API 呼叫都是在寫程式、跑測試，根本就是在「協助」人類工程師。

「AI 自治的核心不是模型的參數量，而是人與 AI 的合作方式。」

我個人在公司裡也常看到同事用小模型自動生成測試腳本，結果還是要自己過目、調整。模型的能力是底層工具，真正決定成效的是我們怎麼把它嵌進工作流程。

有趣的是，報告指出新用戶大概只有 20% 時間會自動批准 AI 的決策，等到成為老手後，這個比例會飆到超過 40%。同時，老用戶也會更頻繁地「打斷」Claude，說明他們對 AI 的信任是建立在能即時介入的前提下。

更離譜的是，Claude 主動停下來問問題的次數是人類主動打斷它的兩倍。換句話說，AI 內建的 Human‑in‑the‑loop 機制真的在運作，還不是只會盲目執行。

根據 Claude Opus 4.5 的報告，Anthropic 正在把代理人設計成「必須跟人類工作方式匹配」的形態；而 Kiro AI 的 Agentic IDE 也在用意圖層、監督層來把人機協作制度化。

我的看法是，未來的 AI 產品會把安全機制當成「合作合約」的一部份，讓使用者在每一步都能看到 AI 的決策依據，然後選擇「接受」或「介入」；這樣的設計不只降低風險，也讓模型的「自治」看起來更像是「共治」。

你覺得在未來的產品設計裡，AI 的「自動提問」會變成新標準，還是會被人類的手動介入取代？