RAG 的下一步：從「外掛」向量資料庫到「原生」資料治理

原生向量RAG治理的重點，是讓嵌入、分段、索引、檢索與引用證據都受同一套資料政策約束。系統應記錄每段內容的來源、敏感等級、保留期限與存取條件，並在檢索時執行權限過濾、版本校驗與可追溯引用，避免模型以過期或越權內容生成答案。

為什麼 RAG 的挑戰不僅僅是「再加一個向量資料庫」？

在 RAG 架構發展的初期，主流作法是將既有的結構化或非結構化資料庫，與一個專門的向量資料庫（Vector Database）並行部署。應用程式在寫入新資料時，需要觸發一個流程，將特定欄位內容轉換為 embedding，然後再寫入向量資料庫。這個看似直接的「雙寫」（dual-write）模式，卻在實務中衍生出許多治理與維運上的痛點。

最顯著的問題是資料同步與一致性。當原始資料被更新或刪除時，我們必須確保對應的向量也被即時更新或移除。在分散式系統中，這很容易出錯，導致向量資料庫中存在大量過時或應被遺忘的「孤兒向量」（orphaned vectors）。這不僅影響檢索結果的準確性，更可能在需要遵循 GDPR 等法規的「被遺忘權」場景下，構成嚴重的合規風險。

此外，權限管理也變得複雜。原始資料庫可能有一套精細的存取控制（例如 IAM 角色或基於角色的存取控制），但向量資料庫往往有另一套獨立的認證與授權機制。兩者之間的權限模型難以對齊，增加了安全管理的複雜度與潛在漏洞。開發者需要維護兩套系統的連線、監控與成本模型，大幅提高了整體的營運負擔。

如何將 Embedding 視為資料的普通屬性？

Amazon DynamoDB 在 2023 年 11 月 26 日正式推出原生向量搜尋功能，為解決上述問題提供了一個具體的範例。它的核心思想是：向量 embedding 不應被視為獨立於原始資料的外部資產，而應是原始資料記錄本身的一個普通屬性（attribute），就像字串或數字一樣。

透過 DynamoDB Streams 與 AWS Lambda 的組合，可以建立一個自動化的事件驅動管線。當一筆新紀錄寫入 DynamoDB 表格時：

1. DynamoDB Streams 會捕捉到這個變更事件。
2. 事件觸發一個 Lambda 函數。
3. Lambda 函數呼叫像 Amazon Titan Embeddings G1 - Text v2 這樣的模型，將紀錄中的特定文字欄位轉換為向量。
4. 最後，Lambda 函數將產生的向量寫回同一筆 DynamoDB 紀錄的一個新屬性中。

在這個模型下，向量與其來源資料被綁定在同一個生命週期中。當原始紀錄被更新，同樣的事件流會重新計算並覆蓋舊的向量；當紀錄被刪除，其對應的向量也隨之消失。整個過程是原子性的，大幅降低了資料不一致的風險。

這種模式的轉變，讓我們能用管理傳統資料庫的思維來治理 AI 系統中的語義索引，而不是為它發明一套全新的、格格不入的流程。

這對資料治理與可信任檢索意味著什麼？

將向量搜尋整合回主要資料庫，其深遠影響體現在資料治理與系統信任的建立上。當我們不再需要維護一個獨立的向量資料庫時，許多問題便迎刃而解：

• 統一的權限模型：存取 DynamoDB 的 IAM 政策現在同時適用於傳統的鍵值查詢與新的SearchVectors API。這意味著我們可以無縫地對向量搜尋實施與原始資料完全一致的、精細到欄位層級的存取控制，無需維護兩套權限系統。
• 簡化的合規與刪除流程：處理資料刪除請求時，只需在 DynamoDB 中刪除該筆紀錄即可。這確保了向量與個人資訊（PII）被同時清除，簡化了遵循隱私法規的流程。
• 整合的可觀測性與成本管理：效能監控（如延遲與吞吐量）與成本計算都整合在 DynamoDB 的儀表板中。我們可以更輕易地評估 RAG 功能的總體擁有成本（TCO），並利用既有的工具進行監控與警報。

這場從「外掛」到「原生」的轉變，是 RAG 技術走向成熟的標誌。它將我們的注意力從單純追求檢索演算法的效能，轉移到更根本的系統性問題上：如何建構一個在資料生命週期的每個環節都可信任、可審計、可治理的知識系統。這對於需要處理敏感資料、私有知識庫的企業應用至關重要。正如最初的 RAG 論文所揭示的，檢索的品質直接決定了生成內容的可靠性，而檢索的源頭——資料庫本身——的治理能力，正是這一切的基石。

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。

延伸閱讀

• Amazon DynamoDB now supports real-time vector search at any scale (AWS Official Blog)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis, et al., 2020)
• Change data capture for DynamoDB Streams (AWS Documentation)