Google a lansat Vaultgemma, un nou model deschis de 1 miliard de parametri, care marchează un pas semnificativ înainte în conservarea vieții private
AI. Anunțat pe 12 septembrie de echipele sale de cercetare și de profunzime, Vaultgemma este cel mai mare model de acest fel instruit de la starea de confecționare a confidențialității diferențiale
While the privacy measures result in a trade-off in raw performance, VaultGemma establishes a powerful new foundation for developing safer AI.
The model, its weights, and technical report are now openly available to researchers on Kaggle and Hugging Face .
O nouă frontieră în AI Privacy
Eliberarea Vaultgemma Confruntă direct una dintre cele mai mari provocări în dezvoltarea AI: riscul de confidențialitate inerent în modelele de formare pe vast, datele de date web. S-a dovedit că LLM-urile sunt susceptibile de memorare, unde pot reproduce din greșeală datele sensibile sau personale pe care au fost instruite.
abordarea lui Vaultgemma oferă o garanție de confidențialitate end-to-end de la început. Acest lucru asigură că modelul fundamental este construit pentru a preveni memorarea detaliilor specifice, permițându-i să învețe tipare generale fără a fi influențat excesiv de orice date de date.
sub capotă: Arhitectura și antrenamentul Vaultgemma
Arhitectural, Vaultgemma este un transformator de decodare, bazat pe Google GEMMA 2. Dispune de 26 de straturi și folosește atenție multi-Query (MQA).
O alegere cheie de proiectare a fost reducerea lungimii secvenței la 1024 jetoane, ceea ce ajută la gestionarea cerințelor de calcul intense ale instruirii private.
întregul proces de pre-antrenament a fost realizat folosind Descendență gradientului stocastic privat (DP-SGD) cu o garanție formală de (ε ≤ 2.0, Δ ≤ 1.1e-10). Această tehnică adaugă zgomot calibrat în timpul antrenamentului pentru a proteja exemple individuale de formare.
Dezvoltarea modelului a fost ghidată de un nou set de „legi de scalare DP”, spune Google. Această cercetare oferă un cadru pentru echilibrarea compromisurilor complexe între puterea de calcul, bugetul de confidențialitate și utilitatea modelului. Pregătirea a fost realizată pe un cluster masiv de 2048 jetoane TPUV6E.
Prețul vieții private: performanță și repere
Această confidențialitate riguroasă costă. Există o compensare inerentă între puterea garanției de confidențialitate și utilitatea modelului.
pe valori de referință academice standard, subperformele Vaultgemma în comparație cu modelele non-private de dimensiuni similare, cum ar fi Gemma-3 1B.
Cu toate acestea, performanța sa este în mod deosebit comparată cu cea a modelelor non-Private de la aproximativ cinci ani în urmă, cum ar fi GPT-2. lățime=”1024″înălțime=”547″src=”date: imagine/svg+xml; nitro-go-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci Ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>
Comparația ilustrează faptul că metodele de formare privată de astăzi produc modele cu utilitate semnificativă, chiar dacă rămâne un decalaj. Acesta evidențiază o cale clară pentru cercetările viitoare.
Punerea garanțiilor la test: Fără memorare detectabilă
Validarea finală a abordării lui Vaultgemma constă în rezistența sa la memorare. Google a efectuat teste empirice pentru a măsura tendința modelului de a reproduce secvențe din datele sale de instruire, o metodă detaliată în rapoartele tehnice Gemma anterioare.
Modelul a fost solicitat cu prefixe din corpul de instruire pentru a vedea dacă va genera sufixele corespunzătoare. Rezultatele au fost definitive: Vaultgemma nu a prezentat nicio memorare detectabilă, exactă, fie aproximativă. Această constatare validează puternic eficacitatea procesului de pregătire pre-instruire DP-SGD.
Prin aprovizionarea deschisă a modelului și metodologiei sale, Google își propune să scadă bariera pentru construirea de tehnologii de conservare a vieții private. Eliberarea oferă comunității o bază de referință puternică pentru următoarea generație de AI-uri sigure, responsabile și private
