Googleは、プライバシーを節約する
aiで大きな前進を示す新しい1億パラメーターオープンモデルであるVaultgemmaをリリースしました。 9月12日に調査とディープマインドチームによって発表されたVaultgemmaは、この種の最大のモデルです
標準的なアカデミックベンチマークでは、gemma-3 1b。
のように、同様のサイズの非プライベートモデルと比較して、Vaultgemmaはパフォーマンスの低いモデルではありません。 width=”1024″height=”547″src=”data:image/svg+xml; nitro-empty-id=mty0odo4ndy=-1; base64、phn2zyb23qm94psiwidagmtaynca1ndci ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>
比較は、今日のプライベートトレーニング方法が、たとえギャップが残っていても、有効性のあるモデルを生成することを示しています。将来の研究の明確な道を強調しています。
テストに保証を置く:検出可能な暗記はありません
Vaultgemmaのアプローチの究極の検証は、暗記に対する抵抗にあります。 Googleは、以前のGemma技術レポートで詳述されている方法であるトレーニングデータからシーケンスを再現するモデルの傾向を測定するために経験的テストを実施しました。
モデルは、対応するサフィックスを生成するかどうかを確認するために、トレーニングコーパスのプレフィックスでプロンプトされました。結果は決定的でした。vaultgemmaは、正確または近似のいずれかで、検出可能な暗記を示しませんでした。この発見は、モデルとその方法論をオープンソーシングすることにより、DP-SGDの事前トレーニングプロセスの有効性を強く検証します。Googleは、プライバシーを提供するテクノロジーを構築するための障壁を下げることを目指しています。このリリースは、コミュニティに、次世代の安全、責任、および私的AIのための強力なベースラインを提供します。
Categories: IT Info