昂貴 AI 模型的價值不在答對，而在懂得懷疑與查證

「昂貴」的 AI 模型，其真正價值並非僅在於其龐大的靜態知識或一次到位的正確率。最新的實務觀察揭示，頂尖模型的核心優勢，在於它能主動意識到自身知識的局限與不確定性，並透過自主檢索官方文件等工具，進行嚴謹的查證與自我修正。這項關鍵能力，不僅重新定義了高成本模型的投資回報，更將 AI Agent 的設計重心，從單純的任務執行，提升至建立一套可靠且具備自我驗證能力的「驗證工作流」之上。

當模型成本翻倍，我們該問什麼問題？

最近，市場上出現了新的頂尖模型 Claude Fable 5，定位為前代最強模型 Mythos 5 的安全強化版。從初步資訊來看，其 token 成本約是過去實務上的首選 Opus 4.8 的兩倍。面對這樣的成本結構，單純比較「誰更聰明」或「誰反應更快」已經不足以構成決策依據。真正的問題變成：在哪些特定場景下，這種昂貴的投資才能帶來對等、甚至超額的回報？

一位日本開發者 znet 在他的技術部落格中，分享了他在個人自動化交易系統開發中對此問題的評估。他並未進行廣泛的基準測試，而是將 Fable 5 放入一個具體的協作流程中，觀察它如何處理一個非常棘手的問題：模型幻覺（hallucination）。這個決定，意外地觸及了高階模型的核心價值。

昂貴模型如何修正 API 幻覺？

在他的實驗中，znet 設計了一個雙模型協作的架構：由一個相對便宜、快速的「實作模型」負責生成程式碼，再由昂貴的 Fable 5 擔任「審查模型」（Reviewer）的角色，負責檢查程式碼的品質與正確性。

問題很快就出現了：實作模型在呼叫一個 API 時，自行「創造」了一個官方規格中不存在的欄位。這是一個典型的模型幻覺案例，如果直接部署，輕則導致程式錯誤，重則可能引發交易系統的資金損失。

然而，接下來發生的事，才是整個實驗的亮點。Fable 5 在審查程式碼時，並非單純依賴自己訓練資料中的「記憶」來判斷。它似乎意識到這段程式碼的可疑之處，主動觸發了工具使用（tool use）能力，直接去檢索並閱讀了該 API 的官方規格文件。在比對了第一手資料後，它明確指出了實作模型的錯誤，並提供了基於官方文件的正確寫法。它不僅發現了問題，還完成了查證與修正的完整閉環。

這個案例的啟示是：我們為高階模型付費，買到的不只是一個更博學的腦袋，更是一個懂得自我懷疑、並有能力尋求真相的協作夥伴。

為什麼「自我校正」比「靜態知識」更重要？

大型語言模型的知識，本質上是其訓練資料在特定時間點的快照。對於一個快速迭代的領域，例如軟體開發，API 規格、函式庫版本、最佳實踐都在不斷變化。完全依賴模型的靜態知識庫，無異於拿著一本過期的地圖在今日的城市中導航。

因此，模型的價值正在從「知道什麼」轉向「如何知道」。這與近年來 AI 研究的趨勢不謀而合，從單純的生成，走向更複雜的檢索增強生成（RAG）與工具增強（Tool-Augmented）架構。高階模型真正的優勢，體現在以下幾點：

• 情境感知與不確定性判斷： 它們能更準確地評估自身知識的信賴度。當面對一個模糊或可能有變化的請求時（如「最新的 API 規格」），它們知道自己的內部知識可能不可靠，從而觸發外部查證。
• 精準的工具使用能力： 如 Anthropic 在 Claude 3.5 Sonnet 中強調的，頂尖模型能更可靠地將自然語言指令轉化為精確的工具呼叫（例如 API request），並理解返回的結構化資料。
• 複雜的推理與規劃： 自我校正不僅是單次的查證。它可能涉及一個多步驟的推理鏈：懷疑 -> 規劃查證步驟 -> 執行工具 -> 解析結果 -> 修正原始答案。這需要強大的思維鏈（Chain-of-Thought）能力。

從成本效益來看，花費 2 倍的價格，如果只是為了讓答對率從 95% 提升到 98%，對許多應用來說可能並不划算。但如果這筆多出來的投資，是為了建構一個能主動防止嚴重錯誤、避免部署災難的「安全網」，那這筆帳就完全不同了。

這對 AI Agent 設計帶來什麼啟示？

znet 的實驗，為我們設計多 Agent 協作系統提供了寶貴的藍圖。過去，我們可能傾向於用單一、最強大的模型來完成所有任務，但這既不經濟，也未必高效。一個更穩健且符合成本效益的架構，應該是分層、分工的，特別是將「驗證」視為一個獨立且關鍵的環節。

這意味著我們的 Agent 設計重點，應該回到「驗證工作流」上。一個典型的流程可能如下：

1. 任務拆解： 將複雜任務交給一個「規劃模型」（Planner Agent）。
2. 草稿生成： 由一個或多個成本較低的「執行模型」（Executor Agent）分頭產生初步的解決方案或程式碼草稿。
3. 審查與驗證： 將草稿交給昂貴但可靠的「審查模型」（Reviewer Agent），授權它使用檢索、執行程式碼等工具進行事實查證與功能驗證。
4. 整合與修正： 審查模型提出修改建議，或直接輸出修正後的版本，最終完成任務。

這樣的設計，不僅優化了成本，更重要的是，它建立了一套可信賴的流程。我們不再是盲目地信任一個黑盒子的輸出，而是依賴一個有查證、有修正機制的系統。當 AI 系統從單純的內容生成器，逐步走向能自主完成複雜任務的 Agent 時，這種內建的自我校正與驗證能力，將是決定其是否可靠、是否能被委以重任的關鍵。

延伸閱讀

• 原案例分析：最強モデルはレビューアとして使う（zenn.dev）
• Toolformer: Language Models Can Teach Themselves to Use Tools (arXiv)
• Function calling and other API updates (OpenAI Blog)
• Building Agentic RAG with LangGraph (AssemblyAI Blog)

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。