Google發布了VaultGemma，這是一種新的10億個參數開放模型，標誌著隱私保護
AI的重要一步。 VaultGemma於9月12日在9月12日宣布的研究和DeepMind團隊是同類產品的最大模型 “>
雖然隱私措施導致原始績效取決於權衡，但Vaultgemma為開發更安全的AI建立了一個有力的新基礎。 href=“ https://huggingface.co/google/vaultgemma-1b” target=“ _ black”>擁抱臉。
AI隱私
href=“ https://research.google/blog/vaultgemma-the-worlds-most-capable-differentially-private-llm” target=“ _ black”>釋放VaultGemma 直接面對AI開發中最大的挑戰之一:AI開發中最大的挑戰:培訓模型上的固有的隱私風險在廣闊的web-web-scale上，培訓模型。 LLM已被證明容易受到記憶的影響，在那裡他們可以無意中再現了經過培訓的敏感或個人數據。
Vaultgemma的方法從頭開始提供端到端的隱私保證。 This ensures the foundational model is built to prevent the memorization of specific details, allowing it to learn general patterns without being overly influenced by any single piece of data.
Under the Hood: VaultGemma’s Architecture and Training
Architecturally, VaultGemma is a decoder-only transformer based on Google’s Gemma 2 model. It features 26 layers and uses Multi-Query Attention (MQA).
A key design choice was reducing the sequence length to 1024 tokens, which helps manage the intense computational requirements of private training.
The entire pre-training process was conducted using 私有隨機梯度下降（DP-SGD）正式保證（ε≤2.0，δ≤1.1E-100）。 Google說，該技術增加了訓練過程中的校準噪聲，以保護單個培訓示例。
該模型的開發是由一組新型的“ DP縮放法則”指導的。這項研究提供了一個框架，可以在計算功率，隱私預算和模型實用程序之間平衡複雜的權衡。培訓是在2048 TPUV6E芯片的大量集群上進行的。
隱私的價格:績效和基準標準
這種嚴格的隱私是有代價的。與非私人模型相比，隱私保證的強度與模型的實用性之間存在著固有的權衡。
在標準的學術基準，拱頂舞台上的表現不佳與非私人模型相比，例如Gemma-3 1b。
，但是，它的性能與五年級的非預測模型相比，例如PP
比較表明，即使存在差距，當今的私人培訓方法即使存在差距，也會產生具有重要實用性的模型。它突出了未來研究的清晰途徑。
對測試保證:沒有可檢測的記憶
對維爾特格人的方法的最終驗證在於其對記憶的抵制。 Google進行了經驗測試，以衡量模型從其訓練數據中復制序列的趨勢，這是先前Gemma技術報告中詳細介紹的一種方法。
該模型是在訓練語料庫的前綴提示的，以查看它是否會生成相應的後綴。結果是確定的:拱頂gemma均未顯示出可檢測到的記憶，無論是精確還是近似。這一發現強烈驗證了DP-SGD預訓練過程的有效性。
通過開放式模型及其方法，Google的目標是降低建立隱私保護技術的障礙。該新聞稿為社區提供了強大的基準，用於下一代安全，負責任和私人AI。