模型自己給自己打分，能突破人類反饋的天花板嗎

問題的另一種問法

強化學習靠反饋信號驅動，但反饋的質量有上限。人類標註者再努力，也只能提供有限的多樣性和一致性。Weston 他們的新工作切到的是：如果模型本身學會評估自己的輸出，是不是就能繞過這個瓶頸？

這不是新概念，但關鍵在於他們怎麼做的。

自我獎勵的實現邏輯

模型在生成答案之後，用同一個或相關的評估機制來給自己的輸出評分。聽起來簡單，實際上有幾個層面的問題要解決：

• 評估標準怎麼定義。固定的規則容易被遊戲化，模型學會「看起來好」而不是「真的好」。
• 自我評估會不會陷入自我確認的迴圈。模型傾向於認為自己做得不錯，這是訓練數據和初始化的結果。
• 什麼時候該信任模型的自我評估，什麼時候該打回去。

Weston 的論文應該是在這些點上有了新的想法，但光看 X 上的預告看不出細節。

為什麼這件事值得看

如果自我獎勵機制真的能工作，影響會很直接：

• 減少對人類標註的依賴。這在實踐中意味著迭代速度能快，成本能降。
• 可能解鎖一些人類難以評估的任務。代碼生成、推理步驟的正確性，有些判斷人類其實也不確定。

但我想強調的是，這不是「超越人類反饋」，而是「用另一種方式補充人類反饋」。模型的自我評估本質上還是基於它被訓練成什麼樣子。如果初始的人類反饋品質差，自我評估也會差。

實際的限制

自我獎勵機制容易陷入的陷阱：

• 過度自信。模型會傾向於給自己高分，尤其是在它確實做得不錯的領域。這會導致學習信號變弱。
• 無法檢測自己沒看到的盲點。如果一個錯誤的推理模式被重複強化，模型自己是看不出來的。

這些問題不是技術上解決不了，但需要很仔細的設計。

我的判斷

這個方向是對的，但期待要現實一點。自我獎勵不會完全替代人類反饋，而是在某些特定場景下減少對人類反饋的需求。最有用的應該是在迭代週期的前期，用來快速篩選出明顯不行的輸出，然後再用人類反饋來精調。

長期來看，混合方案（模型自評 + 人類反饋 + 外部驗證）可能是最穩定的。純粹靠自我獎勵會有系統性的偏差，遲早會顯露出來。

我是江中喬，一位具有 TPM 與產品管理背景的 AI 系統建構者，目前專注於 AI 認知增強系統與多 Agent 協作架構的設計與實踐。

原始來源：https://x.com/jaseweston/status/1748158323369611577?s=20