Inilabas ng Google ang Vaultgemma, isang bagong 1-bilyong parameter na bukas na modelo na nagmamarka ng isang makabuluhang hakbang sa pasulong sa privacy-preserving
AI. Inihayag noong Setyembre 12 sa pamamagitan ng mga koponan ng pananaliksik at malalim na ito, ang Vaultgemma ay ang pinakamalaking modelo ng uri nito Habang ang mga hakbang sa privacy ay nagreresulta sa isang trade-off sa hilaw na pagganap, ang vaultgemma ay nagtatatag ng isang malakas na bagong pundasyon para sa pagbuo ng mas ligtas na AI. yakap sa mukha . href=”https://research.google/blog/vaultgemma-the-worlds-most-capable-differentially-private-llm”target=”_ blangko”> Paglabas ng Vaultgemma Direktang kinokonekta ang isa sa mga pinakamalaking hamon sa pag-unlad ng AI: ang likas na peligro ng privacy sa mga modelo ng pagsasanay sa vast, web-scale datasets. Ang mga LLM ay ipinakita na madaling kapitan ng pagsasaulo, kung saan hindi nila sinasadyang magparami ng sensitibo o personal na data na sinanay nila. Tinitiyak nito na ang modelo ng pundasyon ay binuo upang maiwasan ang pagsasaulo ng mga tiyak na detalye, na pinapayagan itong malaman ang mga pangkalahatang pattern nang hindi labis na naiimpluwensyahan ng anumang solong piraso ng data. Nagtatampok ito ng 26 na layer at gumagamit ng multi-query na pansin (MQA). target=”_ blangko”> kaugalian pribadong stochastic gradient descent (DP-SGD) na may pormal na garantiya ng (ε ≤ 2.0, Δ ≤ 1.1E-10). Ang pamamaraan na ito ay nagdaragdag ng na-calibrated na ingay sa panahon ng pagsasanay upang maprotektahan ang mga indibidwal na halimbawa ng pagsasanay. Ang pananaliksik na ito ay nagbibigay ng isang balangkas para sa pagbabalanse ng kumplikadong mga trade-off sa pagitan ng compute power, badyet sa privacy, at utility ng modelo. Ang pagsasanay ay isinasagawa sa isang napakalaking kumpol ng 2048 TPUV6E chips. Mayroong isang likas na trade-off sa pagitan ng lakas ng garantiya ng privacy at utility ng modelo. lapad=”1024″taas=”547″src=”data: imahe/svg+xml; nitro-empty-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci Ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>
Ang paghahambing ay naglalarawan na ang mga pribadong pamamaraan ng pagsasanay ngayon ay gumagawa ng mga modelo na may makabuluhang utility, kahit na ang isang puwang ay nananatili. Itinampok nito ang isang malinaw na landas para sa pananaliksik sa hinaharap. Ang Google ay nagsagawa ng mga pagsusulit sa empirikal upang masukat ang pagkahilig ng modelo na magparami ng mga pagkakasunud-sunod mula sa data ng pagsasanay nito, isang pamamaraan na detalyado sa mga nakaraang ulat ng Gemma Technical. Ang mga resulta ay tiyak: Ang Vaultgemma ay nagpakita ng walang nakikitang pagsasaulo, alinman sa eksaktong o tinatayang. Ang paghahanap na ito ay malakas na nagpapatunay sa pagiging epektibo ng proseso ng pre-pagsasanay ng DP-SGD. Ang paglabas ay nagbibigay ng komunidad ng isang malakas na baseline para sa susunod na henerasyon ng ligtas, responsable, at pribadong AI.