O Google revela o Vaultgemma, um modelo de IA marcado treinado para privacidade

O Google lançou o VaultGemma, um novo modelo aberto de parâmetros de 1 bilhão que marca um passo significativo na apresentação de privacidade

ai. Anunciado em 12 de setembro por suas equipes de pesquisa e DeepMind, o VaultGemma é o maior modelo do gênero Treined Pound Up com o solo Treineu do terreno com o terreno

Embora as medidas de privacidade resultem em uma troca no desempenho bruto, o VaultGemma estabelece uma nova base nova para o desenvolvimento de IA mais segura. Abraçando o rosto . href=”https://research.google/blog/vaultgemma-the-worlds-sost-apable-fifferencialmente-private-llm”Target=”_ Blank”> Liberação de Datacemma de Vaultgemma Confronta diretamente um dos maiores desafios no desenvolvimento da AI: o risco de privacidade em interenta. Demonstrou-se que os LLMs são suscetíveis à memorização, onde podem reproduzir inadvertidamente dados sensíveis ou pessoais em que foram treinados. Isso garante que o modelo fundamental seja construído para impedir a memorização de detalhes específicos, permitindo que ele aprenda padrões gerais sem ser excessivamente influenciado por nenhum dado. Possui 26 camadas e usa atenção múltipla (MQA). Target=”_ Blank”> Descendência de gradiente estocástica diferencialmente privada (DP-SGD) Com uma garantia formal de (ε ≤ 2,0, δ ≤ 1,1e-10). Essa técnica adiciona ruído calibrado durante o treinamento para proteger exemplos de treinamento individuais.

O desenvolvimento do modelo foi guiado por um novo conjunto de”leis de escala DP”, diz Google. Esta pesquisa fornece uma estrutura para equilibrar as complexas trocas entre poder de computação, orçamento de privacidade e utilidade de modelos. O treinamento foi realizado em um cluster maciço de 2048 chips tpuv6e. Existe uma troca inerente entre a força da garantia de privacidade e a utilidade do modelo. largura=”1024″altura=”547″src=”Data: imagem/svg+xml; nitro-inempty-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci Ihdpzhropsixmdi0iiBozwlnaHQ9iJU0NYIGEG1SBNM9IMH0DHA6LY93D3CUDZMUB3JnlZIWMDAVC3ZNIJ48L3N2ZZ4=”>

A comparação ilustra que os métodos de treinamento privado de hoje produzem modelos com utilidade significativa, mesmo que uma lacuna permaneça. Ele destaca um caminho claro para pesquisas futuras. O Google conduziu testes empíricos para medir a tendência do modelo de reproduzir sequências a partir de seus dados de treinamento, um método detalhado em relatórios técnicos anteriores de Gemma.

O modelo foi solicitado com prefixos do corpus de treinamento para ver se geraria os sufixos correspondentes. Os resultados foram definitivos: o Vaultgemma não exibiu memorização detectável, exata ou aproximada. Essa descoberta valida fortemente a eficácia do processo de pré-treinamento de DP-SGD.

Ao fonte aberta do modelo e sua metodologia, o Google visa diminuir a barreira para construir tecnologias de preservação de privacidade. O lançamento fornece à comunidade uma linha de base poderosa para a próxima geração de IA segura, responsável e privada.