Google wypuściło VaultGemma, nowy model otwarty 1 miliarda parametrów, który oznacza znaczący krok naprzód w zakresie zachowania prywatności
AI. Ogłoszony 12 września przez zespoły badawcze i głębokie, VaultGemma jest największym tego rodzaju modelem wyszkolony od podstaw z różnicową prywatnością .
Metoda, Math, Math, to Math, to Methatics, że gwarancja MATREMATIONS, że gwarancja MATREMATIONS, że Mat. Zapobiegaj zapamiętywaniu lub wycieku informacji o swoich danych treningowych-ryzyko krytyczne dla dużych modeli języków.
Chociaż środki prywatności powodują kompromis w surowej wydajności, Vaultgemma ustanawia nowy potężny podstawa do rozwijania bezpieczniejszego ai.
Model, jego wagi i raport techniczny są teraz otwarcie dostępne dla naukowców na wydanie vaultgemma Bezpośrednio konfrontuje się z jednym z największych wyzwań w programie AI Development: Narkent Crevacy Ryzyko szkoleniowe w modelach szkoleniowych na Vast, Web-SCALE DATASETS. Wykazano, że LLM są podatne na zapamiętywanie, gdzie mogą przypadkowo odtwarzać wrażliwe lub osobiste dane, na których zostały przeszkolone.
Podejście Vaultgemma zapewnia kompleksową gwarancję prywatności od podstaw. Zapewnia to zbudowany model fundamentalny, aby zapobiec zapamiętywaniu konkretnych szczegółów, umożliwiając mu uczenie się ogólnych wzorców bez nadmiernego wpływu na jakikolwiek pojedynczy fragment danych.
Pod kapturem: architektura i trening Vaultgemma
architektonicznie, Vaultgemma jest transformatorem Dekoderem w oparciu o Gemma Google. Posiada 26 warstw i wykorzystuje uwagę wielobranżową (MQA).
Kluczowym wyborem konstrukcyjnym było zmniejszenie długości sekwencji do 1024 tokenów, co pomaga zarządzać intensywnymi wymaganiami obliczeniowymi prywatnego treningu.
Cały proces wstępnego treningu został przeprowadzony przy użyciu Różnicowo prywatne stochastyczne zejście gradientowe (DP-SGD) z formalną gwarancją (ε ≤ 2,0, δ ≤ 1,1e-10). Ta technika dodaje skalibrowany szum podczas szkolenia w celu ochrony indywidualnych przykładów szkolenia.
Rozwój modelu był kierowany nowatorskim zestawem „przepisów dotyczących skalowania DP”, mówi Google. Badanie to stanowią ramy równoważenia złożonych kompromisów między siłą obliczeniową, budżetem prywatności i modelową użytecznością. Szkolenie przeprowadzono na masywnym klastrze układów 2048 TPUV6E.
Cena prywatności: wydajność i punkty odniesienia
Ta rygorystyczna prywatność ma koszt. Istnieje nieodłączny kompromis między siłą gwarancji prywatności a użytecznością modelu.
W standardowych akademickich testach porównawczych, skok-wyścigowe Vaultgemma w porównaniu z modelem nie-prywatnego z podobnej wielkości, takich jak GEMMA-3 1B.
Jednak jego wydajność jest zwłaszcza porównywalna do wyników niepoważnych z mniej więcej pięć lat temu, takich jak GPT-2. szerokość=”1024″Height=”547″src=”data: image/svg+xml; nitro-empty-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci Ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9imh0dha6ly93d3cUdZub3jnlziwmdavc3znij48l3nz4=”>
Porównanie pokazuje, że dzisiejsze prywatne metody szkolenia wytwarzają modele ze znaczącą użytecznością, nawet jeśli pozostaje luka. Podkreśla jasną ścieżkę do przyszłych badań.
Udostępnianie gwarancji na test: Brak wykrywalnego zapamiętywania
Ostateczna walidacja podejścia Vaultgemma polega na jego odporności na zapamiętywanie. Google przeprowadził testy empiryczne w celu pomiaru tendencji modelu do odtwarzania sekwencji z danych szkoleniowych, metody szczegółowo opisanej w poprzednich raportach technicznych GEMMA.
Model został skłonny przedrostkami z korpusu szkoleniowego, aby sprawdzić, czy wygenerowałby odpowiednie sufiksy. Wyniki były ostateczne: VaultGemma nie wykazywała wykrywalnej zapamiętywania, dokładnego lub przybliżonego. To odkrycie zdecydowanie potwierdza skuteczność procesu przedtrenowania DP-SGD.
Dzięki otwarciu modelu i jego metodologii Google ma na celu obniżenie bariery dla budowania technologii powodujących prywatność. Wydanie zapewnia społeczności potężną linię odniesienia dla następnej generacji bezpiecznej, odpowiedzialnej i prywatnej AI.