Google on julkaissut Vaultgemman, uuden 1 miljardin parametrin avoimen mallin, joka merkitsee merkittävää askeleen eteenpäin yksityisyyden suojaamisessa
AI. Vaultgemma on ilmoitettu 12. syyskuuta tutkimus-ja DeepMind-tiimiensä perusteella, ja se on suurin laatuaan Kouluneena Mathematical . Takaukset, jotka estävät mallia muistamasta tai vuotamasta arkaluontoisia tietoja sen harjoitustiedoista-kriittinen riski suurille kielimalleille.
Vaikka yksityisyysmittaukset johtavat raa’an suorituskyvyn kompromissiin, Vaultgemma luo tehokkaan uuden perustan turvallisemman AI: n kehittämiselle.
malli, sen painot ja tekninen raportti ovat nyt avoimesti käytettävissä tutkijoille kasvojen halaaminen .
Uusi raja AI: n tietosuojassa
Vaultgemman julkaisu Kohtaa suoraan yhden AI-kehityksen suurimmista haasteista: luontaisen yksityisyyden riski koulutusmalleissa, Web-scale-tietokoneissa. LLM: ien on osoitettu olevan alttiita muistamiselle, missä ne voivat vahingossa toistaa arkaluontoisia tai henkilötietoja, joita he koulutettiin.
Vaultgemman lähestymistapa tarjoaa yleisen yksityisyystakuun alusta alkaen. Tämä varmistaa, että perusmalli on rakennettu estämään tiettyjen yksityiskohtien muistamisen, jolloin se voi oppia yleisiä kuvioita ilman, että mikään yksittäinen tietoteos vaikuttaa liiallisesti. Siinä on 26 kerrosta ja käyttää monikyselyn huomiota (MQA). Target=”_ tyhjä”> Erilaisesti yksityinen stokastinen gradientin laskeutuminen (DP-SGD) muodollisella takuulla (ε ≤ 2,0, Δ ≤ 1,1e-10). Tämä tekniikka lisää kalibroitua melua koulutuksen aikana yksittäisten koulutusesimerkkien suojaamiseksi.
Mallin kehitystä ohjasi uusi joukko”DP-skaalauslakeja”, Google sanoo. Tämä tutkimus tarjoaa puitteet monimutkaisten kompromissien tasapainottamiseksi laskentavoiman, tietosuojabudjetin ja mallin apuohjelman välillä. Koulutus suoritettiin 2048 TPUV6E-sirujen massiivisella klusterilla. Tietosuojatakuun vahvuuden ja mallin hyödyllisyyden välillä on luontainen kompromissi.
tavanomaisissa akateemisissa vertailuarvoissa Vaultgemma aliarvioi verrattuna samankaltaisen koon muihin kuin primatiivisiin malleihin, kuten Gemma-3 1B. width=”1024″korkeus=”547″src=”data: kuva/svg+xml; nitro-tyhjennys-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci IHDPZHROPSIXMDI0IIBOZWLNAHQ9IJU0NYIGEG1SBNM9IMH0DHA6LY93D3CUDZMUB3JNLZIWMDAVC3ZNIJ48L3N2ZE4=”>
Vertailu osoittaa, että nykypäivän yksityiset koulutusmenetelmät tuottavat malleja, joilla on merkittävää hyödyllisyyttä, vaikka aukko pysyy. Se tuo esiin selkeän polun tulevalle tutkimukselle.
Testien takuiden asettaminen: Ei havaittavissa olevaa muistamista
Vaultgemman lähestymistavan lopullinen validointi on sen vastustuskyky muistamaan muistamiselle. Google suoritti empiirisiä testejä mallin taipumuksen mittaamiseksi sekvensseistä sen harjoitustiedoista, menetelmästä, joka on yksityiskohtainen aiemmissa Gemman teknisissä raporteissa.
Mallia kehotettiin harjoituskorpuksen etuliitteillä nähdäkseen, tuottaako se vastaavat jälkiliitteet. Tulokset olivat lopullisia: Vaultgemma ei osoittanut havaittavissa olevaa muistamista, joko tarkkaa tai likimääräistä. Tämä havainto vahvistaa voimakkaasti DP-SGD: n edeltävän koulutusprosessin tehokkuuden. Julkaisu tarjoaa yhteisölle voimakkaan perustason seuraavan sukupolven turvallisen, vastuullisen ja yksityisen AI: n kanssa.