從 Gemini Pro 與 GPT-3.5 的對決，看 AI 產品的多模型協作策略

近期關於 Google Gemini Pro 與 OpenAI GPT-3.5 Turbo 的性能比較，再次點燃了社群對模型優劣的討論。一份由第三方研究者在 2023 年 12 月底發表的論文，詳細評測了兩者的語言能力，結論指出 Gemini Pro 在多數任務上表現已與 GPT-3.5 Turbo 非常接近，但在數學、程式碼生成與事實性（factuality）等需要複雜推理的領域仍稍微落後（arXiv:2312.11444）。

然而，我認為這類評測報告的真正價值，並不在於為「誰是最好的模型」提供一個簡單答案。對於產品建構者與 AI 系統設計者而言，更重要的啟示在於：當我們擁有多個性能相近但特點各異的模型時，我們的產品分工、成本結構與模型路由（model routing）策略應該如何演進？這場看似「平手」的競爭，恰好為我們揭示了設計下一代 AI 系統的核心思維——從單一模型依賴，走向多模型協作。

Gemini Pro 追上 GPT-3.5 了嗎？最新評測揭示了什麼？

我們先快速回顧一下這份引發討論的研究。該論文《An In-depth Look at Gemini's Language Abilities》在 2023 年 12 月底發布，系統性地比較了 Gemini Pro 與 GPT-3.5 Turbo 在一系列 NLP 任務上的表現。研究發現，雖然 Gemini Pro 在整體表現上略遜一籌，但雙方差距極小，顯示它已是 GPT-3.5 Turbo 一個極具競爭力的對手。

這份報告的幾個關鍵發現，為我們剖析模型特性提供了寶貴線索：

首先，在涵蓋常識推理、問答、數學等多個面向的基準測試中，GPT-3.5 Turbo 的總體得分略高於 Gemini Pro。這表明在廣泛的語言理解與生成任務上，兩者已旗鼓相當。然而，研究也明確指出 Gemini Pro 在需要精確邏輯與多步驟推理的數學問題上，表現出較明顯的劣勢。此外，它的安全過濾機制似乎比 GPT-3.5 更為嚴格，有時會拒絕回答一些無害的指令，這在某些應用場景下可能成為限制。

儘管如此，Gemini Pro 也展現了潛在優勢。研究指出，它在處理長文脈絡推理（long-context reasoning）以及非英語語言的生成任務上，展現出與 GPT-3.5 Turbo 匹敵甚至超越的潛力。這些細微的差異，正是我們制定策略的依據。如果我們只停留在「誰贏了」的層次，就會錯過背後更豐富的產品設計意涵。這不再是一個贏者全拿的遊戲，而是一個如何知人善任、讓不同模型各司其職的系統工程問題。

為什麼我們不該只押注單一模型？

過去幾年，許多團隊在開發 AI 應用時，往往會選擇當時市場上最強大的模型（例如 GPT-4）作為唯一的「大腦」。這種作法在技術驗證階段相對單純，但進入產品化與規模化階段後，很快會面臨瓶頸。主要原因有三：

其一，是成本效益問題。最強的模型通常也最昂貴。讓 GPT-4 處理簡單的客服問答或文本分類，就像用超級電腦來當計算機，是巨大的資源浪費。其二，是延遲問題。頂級模型的推理延遲（latency）通常較高，對於需要即時互動的應用場景（如對話式 AI）可能不是最佳選擇。最後，是可用性與風險。將所有雞蛋放在同一個籃子裡，意味著一旦該模型的 API 服務中斷、價格調整或政策變更，整個產品就會面臨巨大風險。

Gemini Pro 的出現，以及其他如 Anthropic 的 Claude 3 Sonnet（官方發布）或開源社群的 Llama 3（官方部落格）等模型的成熟，讓我們正式進入了一個「模型豐裕」的時代。在這個時代，最關鍵的能力不再是選出「最好的」模型，而是建立一個能動態調度、善用不同模型優勢的智慧系統。

如何設計一個聰明的模型路由（Model Router）策略？

一個成熟的 AI 系統，應該像一個高效的專案經理，懂得根據任務的性質、難度與成本考量，將工作分派給最合適的「專家」。這就是模型路由的核心概念。實務上，我們可以透過一個前端的「分類器」或「調度器」（dispatcher）來實現。

這個調度器可以是一個輕量的語言模型、一組規則引擎，或是一個更複雜的 agent。它的職責是在接收到使用者請求後，快速判斷任務類型，然後將其路由到後端最適當的模型 API。以下是一個具體的策略範例：

針對高頻、低複雜度任務，例如一般的聊天對話、情感分析、關鍵字提取等，這類任務對成本與速度極為敏感。我們可以將它們路由到像 Gemini Pro 或 OpenAI 的 `gpt-3.5-turbo-0125` （OpenAI 文件）這樣成本較低、速度較快的模型。

對於高價值、高複雜度任務，例如撰寫一份需要遵循複雜指令的法律文件、生成一段關鍵的程式碼、進行多步驟的數學運算等，這類任務對品質的要求遠高於成本。它們應該被路由到像 GPT-4 Turbo 或 Claude 3 Opus 這樣能力最強的模型。

此外，還有特定領域任務。如果任務涉及長文檔的摘要或問答，具備百萬級 token context window 的 Gemini 1.5 Pro（Google AI 部落格）可能是最佳選擇。如果任務需要處理特定產業的專有知識，經過微調（fine-tuned）的開源模型可能比通用商業模型表現更好。

透過這樣的設計，我們不僅能大幅優化 API 呼叫的總體成本，還能提升系統的反應速度與穩定性。這也是許多 Agentic System 架構（如 LangChain（LangChain 文件））中路由（routing）概念的實踐。

多模型協作將如何形塑未來的 AI 產品？

從 Gemini Pro 與 GPT-3.5 的比較中，我們看到的不是一場零和遊戲的終結，而是一個多模型共存、協作新時代的開端。我認為，未來的 AI 產品將不再是一個單體式的「黑盒子」，而是一個由多個專門模型、工具與知識庫協同工作的複雜系統。

在這個生態系中，產品開發者的核心競爭力，將從單純的 prompt engineering 轉向更高層次的系統架構設計能力。我們需要思考：如何建立可靠的任務評估與分類機制？如何設計具備容錯與備援能力的路由邏輯？當一個模型失敗或表現不佳時，系統能否自動切換到另一個模型？

模型排行榜上的微小分數差異，對終端使用者來說可能無關痛癢，但對系統架構師而言，卻是決定成本、效能與使用者體驗的關鍵參數。理解每個模型的脾性、優劣與成本結構，並將它們巧妙地編排成一曲和諧的交響樂，這才是我們在後 GPT-3.5 時代，真正需要磨練的技藝。

延伸閱讀

• An In-depth Look at Gemini's Language Abilities (arXiv:2312.11444)
• Google's Official Gemini Page
• OpenAI's GPT-4 Information Page

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。