超越模型崇拜：AI 的價值上限，取決於你的工作流設計

許多人仍將 AI 的成敗歸因於底層模型的能力，但這只是基礎。真正決定一個 AI 系統能否長期發揮價值的，是我們為它設計的「工作流」——這套工作流必須包含可迭代的思考路徑、多樣化的資訊搜尋策略，以及一套可持續的記憶更新與維護機制。若缺乏這套上層建築，即使是最頂尖的模型如 Claude 3.5 Sonnet，也只會是個反應遲鈍、知識停滯的一次性工具，無法成為真正與我們共同成長的協作夥伴。

最近，日本 Classmethod 一位非工程師的有趣實驗引起了我的注意。他嘗試將一個用於每日情報蒐集的 AI 秘書，從「會動的工具」培養成「能持續成長的夥伴」。這個過程清晰地揭示了一個核心命題：當我們不再滿足於一次性的問答，而是追求長期、高效的 AI 協作時，焦點就必須從模型本身，轉移到我們為它建立的整個運作系統上。

這個實驗的起點，相信許多人都曾有過類似經驗：AI 助手一開始很驚艷，但很快就遇到瓶頸。它不會自動變得更聰明，甚至可能因為我們不斷疊加新指令而變得混亂。這正是從「使用 AI」邁向「設計 AI 系統」的關鍵岔路。

如何為 AI 設計更聰明的「思考路徑」？

實驗者遇到的第一個挑戰，是 AI 在搜尋資訊時容易過早放棄。如果第一次嘗試找不到答案，它就會直接回報「找不到」，而不是像人類一樣，換個關鍵字、換個角度再試一次。這種「淺嚐即止」的行為，是大型語言模型在面對開放式任務時的常見缺陷。

他的解決方案並不是更換模型，而是為 AI 設計了一套明確的「多路徑搜尋策略」（multi-path search strategy）。這套策略將資訊搜尋的過程，從單一指令拆解成一個有條件分支的決策樹，為 AI 注入了類似人類解決問題的「韌性」：

• 路徑一： 使用最直接的關鍵字進行初步搜尋。
• 路徑二： 若路徑一失敗，則擴大關鍵字範圍或使用同義詞，進行第二次廣泛搜尋。
• 路徑三： 若依然失敗，則嘗試改變提問的角度或框架，進行第三次探索性搜尋。

這個看似簡單的調整，本質上是在模仿人類解決問題的思考過程。這也呼應了當前 AI Agent 研究的核心框架，例如結合思維鏈（Chain of Thought）與外部工具使用的 ReAct (Reasoning and Acting) 框架。我們不再是單純地「請求」AI，而是「指導」AI 如何去思考與行動。透過定義更精細的思考路徑，我們能大幅提升 AI 在複雜任務上的成功率與可靠性。

為什麼 AI 的「記憶」需要定期審查與維護？

解決了思考路徑，下一個挑戰隨之而來：隨著時間推移，賦予 AI 的各種「技能」（例如特定的 prompt 指令、客製化知識）不斷累積，系統開始出現效能衰退與行為不一致的問題。舊的指令可能與新的指令衝突，某些不再需要的技能佔用了寶貴的 context window，導致 AI 的反應變得遲鈍或混亂。

這點出了 AI 系統設計中一個常被忽略的面向：記憶治理（Memory Governance）。就像軟體工程需要程式碼重構、資料庫需要定期清理一樣，AI 的「記憶」也需要一套可持續的維護機制。實驗者的解法是建立一套「定期健康檢查」與「技能盤點」的節奏，例如每兩週或每一個月，就對 AI 秘書的技能庫進行一次審查：

• 健康檢查： 檢視哪些技能被頻繁使用且成效良好，哪些則很少被觸發或經常出錯。
• 盤點清理（棚卸）： 果斷移除過時、低效或與現有工作流衝突的技能，並將相關的核心知識整併更新。

一個未經維護的 AI 系統，其熵值只會不斷增加，最終從一個高效的助手退化為一個充滿雜訊、不可預測的黑盒子。

這種主動的記憶管理，不僅能維持 AI 的高效運作，更是對抗神經網路「災難性遺忘」（Catastrophic Forgetting）問題的一種實用策略。即使模型本身擁有像 Claude 200K token 的龐大記憶容量，缺乏結構化的管理，這些記憶也只是一片未經整理的資訊汪洋，而非可供精準提取的知識庫。

從模型使用者到 AI 系統設計師：思維模式的轉變

這個案例清晰地指出，AI 的潛力釋放，是一場人與機器共同演化的過程。模型的能力是地基，但真正決定建築物高度與穩固性的，是我們在其上搭建的工作流架構。這意味著我們的角色，必須從一個單純的「提示詞工程師」，轉變為一個「AI 系統設計師」。

一個可持續演進的 AI 工作流，至少應包含以下幾個核心組件：

• 思考路徑 (Thinking Path): 定義問題分解、工具選用與資訊搜尋的標準作業程序。
• 記憶機制 (Memory Mechanism): 建立短期與長期記憶的儲存、提取與增強檢索 (RAG) 策略。
• 回饋迴圈 (Feedback Loop): 讓 AI 能從成功與失敗的經驗中學習，並將其轉化為可執行的改進。
• 維護週期 (Maintenance Cycle): 定期審查、清理與優化 AI 的知識庫與技能集。

當我們開始從這個系統性的角度去思考，就不會再將希望完全寄託於下一個橫空出世的 SOTA 模型。我們會意識到，真正強大的 AI 協作，源自於我們為它精心設計的、那個能夠不斷自我完善與適應變化的運作框架。這不僅是技術問題，更是一種思維模式的轉變——從消費 AI，到設計 AI。這也是 Lilian Weng 在其經典文章 LLM-powered Autonomous Agents 中所描繪的未來藍圖：將大型語言模型作為核心控制器，圍繞它建構記憶、規劃與工具使用能力的完整系統。

最終，AI 的能力上限，並非由模型參數的多寡所決定，而是由我們為它設計的工作流的想像力與嚴謹性所決定。

延伸閱讀

• 【非エンジニアのためのClaude/ClaudeCodeシリーズ】育てるAI秘書 ── 使うたびに賢くなる仕組みを作ってみた (Classmethod DevelopersIO)
• LLM-powered Autonomous Agents (Lilian Weng's Blog)
• ReAct: Synergizing Reasoning and Acting in Language Models (arXiv)

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。