A
A Google kiadta a VaultGemma-t, egy új, 1 milliárd milliárd paraméteres nyitott modellt, amely jelentős előrelépést jelent a magánélet megőrzésében
ai. Announced on September 12 by its Research and DeepMind teams, VaultGemma is the largest model of its kind trained from the ground up with differential privacy.
This method provides strong, mathematical garantálja, amelyek megakadályozzák, hogy a modell az érzékeny információk memorizálását vagy szivárgását az edzési adatokból-a nagy nyelvi modellek kritikus kockázata. src=”adatok: image/svg+xml; nitro-üres-id=mty0mzoxmte4-1; base64, phn2zyb2awv3qm94psiwidagmti1mca0nj Kiihdpzhropsixmjuwiibozwlnahq9ijqq2osigeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2z4=”>”>”>”>”>”>”>”>”>”>”>”>”>”>”>”>”>”>
Míg az adatvédelmi intézkedések a nyers teljesítmény kompromisszumát eredményezik, a VaultGemma erőteljes új alapot hoz létre a biztonságosabb AI fejlesztéséhez. Face ölelés . href=”https://research.google/blog/vaultgemma-the-worlds-most-capable-nifferential-private-llm”Target=”_ üres”> Vaultgemma kiadása Közvetlenül szembesül az AI fejlesztés egyik legnagyobb kihívása: az inherens magánszemélyek kockázata a képzési modellekben, a webes dátumokon. Kimutatták, hogy az LLM-ek hajlamosak a memorizálásra, ahol véletlenül reprodukálhatják az érzékeny vagy személyes adatokat, amelyeken képzettek. Ez biztosítja az alapvető modell felépítését a konkrét részletek memorizálásának megakadályozására, lehetővé téve az általános minták megtanulását anélkül, hogy egyetlen adat túlzottan befolyásolja. 26 réteget tartalmaz, és többkérdezési figyelmet (MQA) használ. Target=”_ üres”> Differenciálisan privát sztochasztikus gradiens származású (DP-SGD) formális garanciával (ε ≤ 2,0, δ ≤ 1,1e-10). Ez a technika kalibrált zajt ad az edzés során az egyes képzési példák védelme érdekében. Ez a kutatás keretet biztosít a komplex kompromisszumok kiegyensúlyozására a számítási energia, az adatvédelmi költségvetés és a modell hasznossága között. Az edzést egy 2048-as TPUV6E chips hatalmas klaszterén végezték. Az adatvédelmi garancia erőssége és a modell hasznossága között rejlő kompromisszum van. szélesség=”1024″magasság=”547″src=”adatok: image/svg+xml; nitro-üres-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndcis Ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9Imh0dha6lyy93d3cudzmub3jnlziwmdavc3znij48l3n2z4=”>
Az összehasonlítás azt szemlélteti, hogy a mai privát edzési módszerek jelentős hasznosságú modelleket hoznak létre, még akkor is, ha a rés megmarad. Ez kiemeli a jövőbeli kutatások egyértelmű útját. A Google empirikus teszteket végzett a modell hajlamának mérésére a szekvenciák reprodukálására az edzési adatokból-ez a módszer a korábbi GEMMA műszaki jelentésekben részletezett. Az eredmények véglegesek voltak: a Vaultgemma sem pontos, sem hozzávetőleges detektálható memorizálást mutatott. Ez a megállapítás határozottan igazolja a DP-SGD előzetes edzési folyamat hatékonyságát. A kiadás biztosítja a közösség számára a biztonságos, felelősségteljes és magán AI következő generációjának erőteljes alapját.