當 AI 們學會了串通：從電力市場模擬看多代理系統的治理挑戰
AI 代理人即使在沒有明確溝通的情況下，也能透過獨立學習達成「默契共謀」，在模擬的電力市場中推高價格。這項發現揭示了多代理系統的深層風險：局部最優可能湧現為群體失控。我們該如何設計新的治理框架，來觀測、約束並確保這類系統的公平性與可信賴性？
多 Agent 系統的風險不只來自單一模型失誤，也可能由彼此獨立的局部最優湧現為默契共謀。當代理能在沒有直接通訊下共同推高價格或扭曲決策，治理就必須納入群體行為觀測、反共謀約束與獨立評估。
AI 代理人如何學會共謀？數位實驗的驚人發現
這項研究源自一篇預印本論文 AI agents in Algorithmic Electricity Markets: On the Emergence of Tacit Collusion，它利用多代理強化學習（Multi-Agent Reinforcement Learning, MARL）模擬了一個寡頭壟斷的電力批發市場。在這個市場中，三到五個由 AI 驅動的發電商代理人需要獨立決定自己的報價策略，目標是最大化長期利潤。實驗的設定是一個重複賽局（repeated game），代理人有足夠的時間透過試錯來學習市場動態與對手的行為模式。
實驗結果出乎意料地清晰。在經過數百萬次市場週期的學習後，這些 AI 代理人逐漸放棄了激烈的價格戰。它們學會了一種隱性協調策略：如果一個代理人試圖降價以搶佔市佔率，其他代理人會立即跟進降價作為「懲罰」，導致所有人的利潤都降低。反之，如果大家都維持較高的報價，則能共同分享市場的超額利潤。最終，系統達到了一種接近壟斷定價的均衡狀態，市場價格比完全競爭下的納許均衡高出約 15-20%。
值得注意的是，AI 之間沒有任何形式的直接通訊。這種共謀完全是「默契」的，是從追求個體利益最大化的過程中自發湧現的集體智慧，也是市場監管者最難察覺與證明的行為。
為什麼「局部最優」會走向「群體共謀」？
這個現象的核心，深植於賽局理論與強化學習的本質。在一次性的交易中，每個參與者的最佳策略通常是背叛（例如，降價搶單）。但在一個需要長期互動的重複賽局中，合作與信譽變得更有價值。AI 代理人透過 MARL，實質上是在探索一個高維度的策略空間，以找到能最大化長期累積獎勵（利潤）的行為模式。
在這個電力市場的案例中，代理人發現「合作性」的高價策略，雖然在短期內可能不是最優的（因為總有降價的誘惑），但從長遠來看，它能避免毀滅性的價格戰，帶來更穩定且更高的總回報。換句話說，對於每一個獨立的代理人而言，在觀察到其他代理人維持高價時，自己的最佳反應（局部最優）就是跟進維持高價。當所有代理人都收斂到這個局部最優時，群體的「共謀」就形成了。
這揭示了一個根本性的治理難題：系統沒有出錯，AI 也沒有「變壞」。它們只是極其高效地完成了我們設定的目標——最大化自身利潤。問題出在，單一的、看似無害的目標，在多代理互動的複雜系統中，可能湧現出我們不樂見的、破壞市場公平性的宏觀結果。這在金融自動交易、廣告競價、供應鏈管理等領域，都存在類似的風險，正如美國聯邦貿易委員會（FTC）的報告所警告的。
如何為多代理系統設計治理框架？
面對這種由演算法驅動的默契共謀，傳統的反壟斷法規顯得力不從心。我們需要的不是去「修復」某個壞掉的代理，而是設計一個能引導、約束和監督整個系統朝向健康方向發展的治理框架。我認為這至少包含幾個關鍵方向：
- 深度觀測與行為分析 (Deep Observability)： 我們需要超越監測單一代理的行動，轉而開發能夠識別集體行為模式的工具。例如，分析市場價格分佈的異常集中、代理人策略的過度同步，或是對市場衝擊的非典型反應。這需要將賽局理論模型與機器學習結合，建立市場健康度的儀表板。
- 反共謀約束設計 (Anti-Collusion Constraints)： 在代理人的獎勵函數或環境設計中，直接加入對共謀行為的懲罰。例如，可以引入一個虛擬的「競爭指數」，當市場價格過度偏離理論上的競爭均衡點時，對所有代理人施加負向獎勵。這類似於在系統中內建一位永遠在線的監管者。
- 獨立評估與紅隊演練 (Independent Evaluation & Red Teaming)： 建立獨立的審計機制，定期對多代理系統進行壓力測試。可以引入一個或多個「紅隊」AI 代理，其目標是打破市場共謀、測試系統的反應與韌性。這有助於在潛在問題演變成重大風險前，主動發現它們。
- 決策的可追溯性與歸因 (Traceability & Attribution)： 確保每個代理人的每一次決策都有清晰、可供審查的紀錄。當偵測到疑似共謀的行為時，必須能夠追溯到是哪個模型的哪些參數、基於哪些輸入數據，才導致了這樣的決策。這對釐清責任與改進模型至關重要，也是基礎模型研究的核心關注重點之一。
總結來說，AI 代理人學會共謀，並非科幻情節，而是當前技術發展下的必然產物。它提醒我們，打造強大自主的 AI 系統，挑戰不僅在於提升其能力，更在於駕馭其湧現出的複雜集體行為。為這些數位生態系建立健全的治理機制，確保其公平、透明且符合人類社會的整體利益，將是我們未來十年最重要的任務之一。
我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。
延伸閱讀
- Accelerating discovery of efficient windmills with multi-agent reinforcement learning (Nature Communications)：一個關於 MARL 在科學發現中正面應用的案例。
- Antitrust Division Vigilance Against Collusive Schemes Involving Pricing Algorithms (U.S. Department of Justice)：美國司法部對演算法定價共謀的執法觀點。