Google hat Vaultgemma veröffentlicht, ein neues 1-Milliarden-Parameter-Open-Modell, das einen signifikanten Fortschritt in der Privatsphäre-Präsentation
AI markiert. Vaultgemma wird am 12. September von seinen Forschungs-und DeepMind-Teams angekündigt und ist das größte Modell seiner Art
Während die Datenschutzmaßnahmen zu einem Kompromiss in der Rohleistung führen, legt Vaultgemma eine leistungsstarke neue Grundlage für die Entwicklung eines sichereren Ai. href=”https://huggingface.co/google/vaultgemma-1b”target=”_ leer”> umarmtes Gesicht
. href=”https://research.google/blog/vaultgemma-the-world-most-c-capable-differentiell-private-llm”target=”_ leer”> Veröffentlichung von Vaultgemma unmittelbar unmittelbar vorhanden einer der größten Herausforderungen in der AI-Entwicklung. Es wurde gezeigt, dass LLMs anfällig für Memorisierung sind, bei denen sie versehentlich sensible oder personenbezogene Daten reproduzieren können, an denen sie trainiert wurden. Dies stellt sicher, dass das Grundmodell erstellt wurde, um die Auswendiglernen spezifischer Details zu verhindern, sodass es allgemeine Muster lernen kann, ohne durch ein einzelnes Datenstück übermäßig beeinflusst zu werden. Es verfügt über 26 Schichten und verwendet Multi-Quer-Aufmerksamkeit (MQA). target=”_ leer”> Differenziell private stochastische Gradientenabfälle (DP-SGD) mit einer formalen Garantie von (ε ≤ 2,0, δ ≤ 1,1E-10). Diese Technik fügt kalibriertes Rauschen während des Trainings hinzu, um individuelle Trainingsbeispiele zu schützen. Diese Forschung bietet einen Rahmen, um die komplexen Kompromisse zwischen Berechnung, Datenschutzbudget und Modellnutzung in Einklang zu bringen. Das Training wurde auf einem massiven Cluster von 2048 TPUV6E-Chips durchgeführt. Es gibt einen inhärenten Kompromiss zwischen der Stärke der Datenschutzgarantie und dem Nutzen des Modells. width=”1024″Höhe=”547″src=”Daten: Bild/SVG+XML; Nitro-Treppy-ID=Mty0odo4ndy=-1; Base64, Phn2ZyB2AWV3QM94psiwidagmtaynca1ndci Ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9imH0DHA6LY93D3CUDZMUB3JNLZIWMDAVC3ZNIJ48L3N2zz4=”>
Der Vergleich zeigt, dass die heutigen privaten Trainingsmethoden Modelle mit erheblichem Nutzen erzeugen, auch wenn eine Lücke bestehen. Es zeigt einen klaren Weg für zukünftige Forschungsergebnisse. Google führte empirische Tests durch, um die Tendenz des Modells, Sequenzen aus seinen Trainingsdaten zu reproduzieren, eine Methode, die in früheren technischen Gemma-Berichten beschrieben wurde. Die Ergebnisse waren endgültig: Vaultgemma zeigte weder genau oder ungefähr nachweisbarem Auswendiglernen. Dieser Befund validiert stark die Wirksamkeit des DP-SGD-Vorausgangsprozesses. Die Veröffentlichung bietet der Community eine leistungsstarke Grundlinie für die nächste Generation von sicheren, verantwortungsbewussten und privaten AI.