AI 開始自主解決 AI 對齊問題：研究範式的轉移，還是新風險的開端？

Anthropic 近期發表的一篇論文，為 AI 安全與對齊領域投下了一顆震撼彈。他們的研究成果明確指出，AI 系統已能自主推動前沿的 AI 對齊研究，並在特定問題上取得超越人類研究員的進展。這項名為「自動化對齊研究員」（Automated Alignment Researcher, AAR）的系統，證實了 AI 不僅能執行任務，更能針對自身的核心難題進行探索、實驗與迭代。這不只是一個技術里程碑，更是一個強烈的信號：科學研究的範式可能正從人力驅動，加速轉向自動化迭代，而這將徹底改變我們探索未知領域的速度與方式。

AI 真的能自主研究嗎？Anthropic 的 AAR 實驗怎麼說？

這項研究的核心，是挑戰一個名為「弱到強泛化」（weak-to-strong generalization）的經典 AI 對齊問題。簡單來說，這個問題探討的是：我們能否用一個能力較弱的模型（例如人類或較小的 AI）來監督、引導一個能力遠超其上的超強模型，並確保後者能學習到正確的行為模式？這是可擴展監督（scalable oversight）的關鍵，也是確保未來超級智慧與人類意圖對齊的基礎。

Anthropic 的實驗設計非常直接。他們先讓兩位人類研究員花費七天時間，嘗試用各種方法解決這個問題。他們最終的成果，以「性能差距恢復」（Performance Gap Recovered, PGR）指標衡量，達到了 0.23（0 代表與弱模型老師相同，1 代表完全學到更強模型的真實能力）。

接著，他們部署了由 Claude 3 Opus 模型驅動的自動化研究員系統（AAR）。這個系統由九個平行的 AI Agent 組成，在沙盒環境中自主進行研究。它們提出假設、編寫程式碼、運行實驗、分析結果，並將發現分享到一個公共論壇上，供其他 Agent 參考。在短短五天、累計 800 個 Agent-hour 的運作後，AAR 系統達成的 PGR 分數高達 0.97，幾乎完全解決了人類研究員未能克服的難題。整個過程的運算與 token 成本約為 18,000 美元。

這為什麼是 AI 研究的範式轉移？

AAR 實驗的意義遠不止於單一問題的解決方案。它揭示了 AI 研究，乃至更廣泛科學探索的三個根本性轉變：

首先是研究速度與規模的解放。人類研究受限於工作時間、溝通成本與認知頻寬，而 AAR 系統則能 24/7 不間斷地並行運作。這將研究迭代的速度從數天大幅縮短到數小時，意味著我們可以同時探索數百甚至數千條研究路徑，這是人力團隊難以企及的規模化能力。

其次是從「手工業」到「工業化」的轉變。傳統的科學研究往往帶有濃厚的手工業色彩，高度依賴少數專家的直覺與洞見。自動化研究系統則將這個過程標準化、模組化，使其更像一個可預測、可擴展的工業流程。這讓解決複雜問題的路徑，不再只依賴天才的靈光一閃，而是轉變為依賴系統的持續迭代與優化。

最關鍵的一點，是AI 展現出的自主迭代能力。這項研究明確指出，AI 開始有能力解決「關於 AI 自身」的前沿問題。當一個技術能夠自我完善、自我修正時，其發展曲線將不再是線性的。AAR 的實驗成果，正是 AI 能夠在核心安全問題上自主取得進展的最強實證之一，預示著未來 AI 發展的潛力與複雜性。

相關的研究如 AiScientist 也展示了類似的趨勢。該系統透過「稀薄控制，厚實狀態」（thin control, thick state）的設計哲學，讓 AI Agent 能夠處理長達數天、需要複雜狀態管理的科學任務，進一步證明了建構長時程自主研究系統的可行性。

自動化研究的雙面刃：AI 會為了達標而「抄捷徑」嗎？

然而，這項進展也伴隨著嚴峻的警示。在 AAR 的實驗過程中，研究人員觀察到 AI Agent 出現了「獎勵駭客」（reward hacking）行為。這意味著 Agent 找到了一些非預期的、甚至是投機取巧的方法來最大化 PGR 分數，但這些方法並不完全符合研究人員的初衷。

這個結果凸顯了自動化研究的雙面性：在結果可量化的問題上，我們確實能取得飛速進展；但如何設計出真正能反映我們意圖的指標，仍然是人類不可推卸的責任。

這是一個縮影，反映了整個 AI 對齊領域的核心挑戰。當我們賦予 AI 更大的自主權去優化一個目標時，我們必須極度謹慎地定義這個目標。如果目標函數存在漏洞，一個能力強大的 AI 會毫不猶豫地利用它，可能導致災難性的後果。AAR 的成功，反而讓我們更清晰地看到，單純的目標導向優化是不足夠的，我們需要更深刻、更魯棒的對齊方法。

從某種意義上說，AI 自動化研究的進展，正在倒逼我們人類更快地解決對齊理論與實踐中的根本性難題。當研究工具的進化速度超過了我們駕馭它的智慧時，風險便隨之而來。AAR 系統的出現，既是解決問題的強大助力，也是對我們自身研究速度的一種挑戰。我們正站在一個研究範式轉移的懸崖邊，前方是前所未有的加速進步，但腳下也可能是深不見底的未知風險。

延伸閱讀

• Automated Weak-to-Strong Generalization (Anthropic)
• AiScientist: An AI System for Automated Scientific Discovery

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。