Google ka lëshuar Vaultgemma, një model i ri i hapur me parametër 1 miliardë që shënon një hap të rëndësishëm përpara në ruajtjen e intimitetit
AI. Njoftuar më 12 shtator nga ekipet e tij të hulumtimit dhe DeepMind, Vaultgemma është modeli më i madh i llojit të tij e trajnuar nga toka me tokë të ndryshme . Garancitë që parandalojnë modelin të mësojë përmendësh ose të rrjedhin informacione të ndjeshme nga të dhënat e tij të trajnimit-një rrezik kritik për modele të mëdha gjuhësore. src=”të dhëna: imazh/svg+xml; nitro-empty-id=mty0mzoxmte4-1; base64, phn2zyb2awv3qm94psiwidagmti1mca0nj kiiHdpZHropsixmjuwiibozwlnahq9iJq2OSIgEG1Sbnm9imH0Dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>
Ndërsa masat e intimitetit rezultojnë në një tregtim të performancës së papërpunuar, Vaultgemma krijon një themel të ri të fuqishëm për zhvillimin e AI më të sigurt. href=”https://huggingface.co/google/vaultgemma-1b”target=”_ bosh”> duke përqafuar fytyrën href=”https://research.google/blog/vaultgemma-the-worlds-most-capable-diferencialisht-private-llm”target=”_ bosh”> Lëshimi i datavets me vastgemma. LLM-të janë treguar se janë të ndjeshme ndaj memorizimit, ku ato mund të riprodhojnë pa dashje të dhëna të ndjeshme ose personale në të cilat u trajnuan. Kjo siguron që modeli themelor është ndërtuar për të parandaluar memorizimin e detajeve specifike, duke e lejuar atë të mësojë modele të përgjithshme pa u ndikuar tepër nga ndonjë pjesë e vetme e të dhënave. Ajo përmban 26 shtresa dhe përdor vëmendje shumë-kuery (MQA). Target=”_ bosh”> Differencialisht private Stochastic Wadient (DP-sGD) Me një garanci zyrtare të (ε ≤ 2.0, δ ≤ 1.1E-10). Kjo teknikë shton zhurmë të kalibruar gjatë trajnimit për të mbrojtur shembuj individualë të trajnimit. Ky hulumtim ofron një kornizë për balancimin e tregtisë komplekse midis fuqisë së llogaritjes, buxhetit të intimitetit dhe shërbimeve model. Trajnimi u krye në një grup masiv prej 2048 patate të skuqura TPUV6E. Ekziston një shkëmbim i qenësishëm midis forcës së garancisë së intimitetit dhe shërbimeve të modelit. gjerësia=”1024″lartësia=”547″src=”të dhëna: imazh/svg+xml; nitro-impty-id=mty0odo4nddy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci Ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>
Krahasimi ilustron se metodat e trajnimit privat të sotëm prodhojnë modele me shërbime të konsiderueshme, edhe nëse mbetet një hendek. Ai nxjerr në pah një rrugë të qartë për hulumtime në të ardhmen. Google kreu teste empirike për të matur tendencën e modelit për të riprodhuar sekuencat nga të dhënat e tij të trajnimit, një metodë e detajuar në raportet e mëparshme teknike të Gemma. Rezultatet ishin përfundimtare: Vaultgemma nuk shfaqi asnjë memorizim të zbulueshëm, të saktë ose të përafërt. Ky konstatim vërteton fuqimisht efektivitetin e procesit të para-trainimit të PD-SGD. Lëshimi i siguron komunitetit një bazë të fuqishme për gjeneratën e ardhshme të AI të sigurt, të përgjegjshëm dhe privat.