從聲量到證據：AI 安全研究該如何擺脫「抓到漏洞」的迷思？

AI 輔助的漏洞挖掘，很容易陷入追求發現 0-day 的軍備競賽，但這往往忽略了更根本的工程問題：我們找到的，究竟是新威脅，還是早已被修補的舊傷痕？日本資安研究者 kame 展示了一種更嚴謹的路徑，透過建立專門的授權（Authorization）驗證框架，在三個成熟的開源專案中「重新發現」已知的 CVE。這個過程揭示了 AI 安全工作流程的真正價值——不是炫耀發現，而是建立可重現的驗證流程，將安全研究從追求聲量拉回講求證據的本質。

為何「找到漏洞」的宣告，可能弊大於利？

在 AI 安全領域，我們時常看到「AI 發現了 N 個 0-day 漏洞」這類標題。這固然吸引眼球，卻也可能是一種誤導。許多由大型語言模型（LLM）自動化生成的漏洞報告，品質參差不齊，其中不乏誤報（false positives）或是早已被社群回報、甚至已修復的「舊聞」。這種現象不僅增加了維護者的溝通成本，也讓安全研究的焦點從解決問題，轉移到製造聲量。當人人都在宣稱「發現」時，真正重要的「驗證」工作反而被忽略了。如果沒有一套嚴謹的流程來確認漏洞的真實性（reality）與新穎性（novelty），AI 工具的產出就只是一堆需要人工過濾的噪音，而非可信的訊號。

這種「重發現、輕驗證」的文化，長期來看會侵蝕信任。它讓開發者對自動化工具的警報感到麻木，也讓真正的、潛伏的關鍵漏洞，淹沒在大量已知問題的重複回報之中。我們需要的，是從根本上改變遊戲規則，將重點從「找到什麼」轉移到「如何證明你找到的很重要」。

如何打造一個專注於「驗證」的 AI 安全測試框架？

要將安全研究拉回證據，我們需要的是工程方法，而非煉金術。研究者 kame 發表的實驗便是一個極佳的示範。他沒有追求廣泛的漏洞類型，而是將範圍縮小到最棘手、也最容易出錯的領域之一：授權（Authorization）。他的目標不是找到最多漏洞，而是建立一個能可靠驗證授權邏輯的「驗證框架」（Verification Harness）。

這個框架由三個核心元件組成，專門用於黑箱測試：

• Deny-by-default Proxy：作為一個預設拒絕所有請求的代理伺服器，它會攔截所有測試流量，只有明確允許的規則才能通過。這能確保測試環境的乾淨與可控。
• AI Test Case Generator：利用 LLM（例如 GPT-4 Turbo）來讀取 OpenAPI 等 API 文件，自動生成大量、有針對性的測試案例，模擬各種可能的攻擊路徑與權限繞過情境。
• Verifier：這是整個流程的核心。它會自動執行 AI 生成的測試案例，並比對預期結果與實際反應，判斷是否存在授權漏洞。

他將這套框架應用於三個廣泛使用的成熟開源專案：MinIO、Argo CD 與 Harbor。這些專案都有龐大的使用者基礎與活躍的開發社群，其安全性理應相當穩固。這使得測試結果更具說服力。

真正的產出不是漏洞報告，而是那套能夠系統性排除已知問題、並證明新發現的驗證框架本身。

重新發現已知 CVE，為何反而是個好消息？

實驗結果非常有趣。這套 AI 輔助的驗證框架，成功地在這三個專案中都重新發現了過去已被揭露並修復的 CVE 等級漏洞，例如存在於 MinIO 叢集部署模式下的資訊洩露漏洞（CVE-2023-28432）。但 kame 並沒有將這些結果當成新的 0-day 來大肆宣揚，反而選擇不提交報告。因為，他的驗證流程最後一步——新穎性檢查（novelty check）——明確告訴他，這些都已是公開資訊。

這正是整個實驗最寶貴的洞見。這個框架的成功，不在於它「找到」了什麼，而在於它能夠可靠地、自動化地「重現」已知的嚴重問題。這意味著兩件事：

1. 驗證框架的有效性：它證明了這套方法論是有效的，能夠捕捉到真實世界中曾對系統造成威脅的複雜漏洞。這就像一把尺，先用已知的長度校準過，我們才能信任它去測量未知。
2. 建立安全迴歸測試的基礎：一旦有了這樣的框架，它就能被整合到 CI/CD 流程中，成為一道堅實的防線。未來任何程式碼的變更，都必須通過這個框架的檢驗，確保同樣的錯誤不會再次發生。這正是將安全研究從一次性的「發現」，轉化為可持續的「保障」。

這種作法，呼應了 Google OSS-Fuzz 這類大型模糊測試（Fuzzing）專案的核心精神：重點不是一次性的英雄主義，而是建立一套可持續、可規模化的品質保障體系。當 AI 的能力被用於強化這個體系，而非僅僅是用來製造報告時，它的價值才能真正被釋放。我們應該慶祝的，不是又找到一個漏洞，而是我們又建立了一個能自動排除一整類問題的系統。

延伸閱讀

• AI を活用した認可検査ハーネスによる既知脆弱性の再発見
• A Survey of Large Language Models for Code: Evolution, Application, and Theory
• MinIO Security Advisory for CVE-2023-28432

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。