Google ha rilasciato Vaultgemma, un nuovo modello Open di parametro da 1 miliardo che segna un significativo passo avanti nella presidenza della privacy
AI. Annunciato il 12 settembre dai suoi team di ricerca e DeepMind, Vaultgemma è il modello più grande del suo tipo addestrato da quello che si è messo garantisce che impedisca al modello di memorizzare o perdite informazioni sensibili dai suoi dati di allenamento: un rischio critico per i modelli di grandi dimensioni.
Mentre le misure sulla privacy si traducono in un compromesso nelle prestazioni grezze, Vaultgemma stabilisce una nuova potente base per lo sviluppo di AI più sicura.
Il modello, i suoi pesi e il rapporto tecnico sono ora apertamente disponibili per i ricercatori su href=”https://huggingface.co/google/vaultgemma-1b”target=”_ blank”> abbraccio faccia .
una nuova frontiera nella privacy AI
il Rilascio di Vaultgemma Affronta direttamente una delle maggiori sfide nello sviluppo dell’IA: il rischio di privacy inerenti nei modelli di formazione sui vasti, dati web. È stato dimostrato che LLMS è suscettibile alla memorizzazione, in cui possono riprodurre inavvertitamente dati sensibili o personali su cui sono stati addestrati.
L’approccio di Vaultgemma fornisce una garanzia di privacy end-to-end da zero. Ciò garantisce che il modello di base sia costruito per impedire la memorizzazione di dettagli specifici, permettendole di apprendere modelli generali senza essere eccessivamente influenzato da un singolo pezzo di dati.
sotto il cofano: l’architettura e la formazione di Google di Vaultgemma sulla base del modello di Google. Presenta 26 livelli e utilizza l’attenzione multi-query (MQA).
Una scelta di progettazione chiave stava riducendo la lunghezza della sequenza a 1024 token, il che aiuta a gestire gli intensi requisiti computazionali dell’addestramento privato.
L’intero processo pre-training è stato condotto usando discesa gradiente stocastico differenzialmente privato (DP-SGD) con una garanzia formale di (ε ≤ 2,0, Δ ≤ 1.1e-10). Questa tecnica aggiunge rumore calibrato durante la formazione per proteggere i singoli esempi di formazione.
Lo sviluppo del modello è stato guidato da un nuovo insieme di”leggi sul ridimensionamento DP”, afferma Google. Questa ricerca fornisce un quadro per bilanciare i complessi compromessi tra potere di calcolo, budget per la privacy e utilità del modello. L’addestramento è stato condotto su un enorme cluster di 2048 chip TPUV6E.
Il prezzo della privacy: prestazioni e benchmark
Questa rigorosa privacy ha un costo. Esiste un compromesso intrinseco tra la forza della garanzia della privacy e l’utilità del modello.
sui benchmark accademici standard, Vaultgemma sottoperformi rispetto ai modelli non privati di dimensioni simili, come Gemma-3 1b.
larghezza=”1024″altezza=”547″src=”Dati: immagine/svg+xml; nitro-empty-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci IHDPZHROPSIXMDI0IIBOZWLNAHQ9IJU0NYIGEG1SBNM9IMH0DHA6LY93D3CUDZMUB3JNLZIWMDAVC3ZNIJ48L3N2zz4=”>
Il confronto illustra che i metodi di formazione privata di oggi producono modelli con utilità significativa, anche se rimane un divario. Sottolinea un percorso chiaro per la ricerca futura.
Mettendo le garanzie al test: nessuna memorizzazione rilevabile
L’ultima convalida dell’approccio di Vaultgemma risiede nella sua resistenza alla memorizzazione. Google ha condotto test empirici per misurare la tendenza del modello a riprodurre sequenze dai suoi dati di addestramento, un metodo dettagliato nei precedenti report tecnici Gemma.
Il modello è stato richiesto con i prefissi dal corpus di addestramento per vedere se avrebbe generato i suffissi corrispondenti. I risultati sono stati definitivi: Vaultgemma non ha mostrato alcuna memorizzazione rilevabile, esatta o approssimativa. Questa scoperta convalida fortemente l’efficacia del processo di pre-allenamento DP-SGD.
mediante open-sourcing del modello e la sua metodologia, Google mira a ridurre la barriera per la costruzione di tecnologie di conservazione della privacy. Il rilascio fornisce alla comunità una potente base per la prossima generazione di AI sicura, responsabile e privata.
