O Google está pressionando a ação global sobre inteligência geral artificial (AGI), enfatizando a urgência de criar salvaguardas antes que esses sistemas avançam além do controle humano. Em um post de blog publicado ontem pela DeepMind, a empresa revelou uma nova estrutura de segurança internacional construída em torno de três pilares principais: reforçando a pesquisa técnica, implementando sistemas de desgaste precoce e promovendo a cooperação internacional por meio de órgãos de governança.
Em vez de se concentrar apenas nas estruturas de políticas ou nas considerações éticas abstratas que a proposta de mindos é firmemente robusta nas práticas de prática das práticas de práticas de uma das considerações abstratas da mind. A empresa enfatiza que a necessidade de medidas de segurança não é uma preocupação distante, mas um desafio imediato. “[Um] elemento-chave de nossa estratégia é identificar e restringir o acesso a capacidades perigosas que podem ser mal utilizadas, incluindo aqueles que possibilitam ataques cibernéticos.,”Deepmind, declarou em seu “uma época em que o desenvolvimento da AGI está se acelerando. Deepmind está enquadrando a AGI não apenas como uma possibilidade futura, mas como uma realidade iminente, ressaltando a necessidade de medidas de precaução hoje. Tratados
Além das inovações técnicas, o DeepMind está defendendo mudanças estruturais que abrangem o globo. A empresa sugere estabelecer um órgão internacional que avaliaria os sistemas AGI, semelhantes aos acordos de não proliferação nuclear. Essa organização ajudaria a gerenciar riscos globais e estabeleceria uma estrutura padronizada para o desenvolvimento e teste da AGI. Além disso, o DeepMind propõe a criação de centros de avaliação de risco em nível nacional para permitir que esses países avaliem independentemente os sistemas estrangeiros de IA e garantirem a segurança. No início de 2024, a empresa formou uma nova organização de segurança e alinhamento de IA, combinando várias de suas equipes existentes e a introdução de novos talentos focados especificamente em riscos da AGI. Esse foco interno se baseia no compromisso mais amplo do Google em garantir o desenvolvimento responsável da IA. A fusão abriu o caminho para o desenvolvimento da família Model Model, que viu atualizações significativas com o recente lançamento do Gemini 2.5 Pro Experimental-seu mais recente modelo multimodal de IA capaz de raciocínio avançado. Esse avanço sinaliza as capacidades crescentes da DeepMind, bem como seu foco em garantir que esses sistemas poderosos sejam implantados com responsabilidade. ecoa dos rivais-e algumas contradições
O pedido de segurança do DeepMind não existe em isolação. Ele chega quando outros principais laboratórios de IA começam a tomar medidas semelhantes. A antropia, um dos concorrentes mais significativos da DeepMind, emitiu um aviso semelhante em novembro de 2024, pedindo aos reguladores que tomem medidas rápidas dentro de 18 meses para impedir o desenvolvimento da IA em fuga. A Antrópica também trabalha com a Administração Nacional de Segurança Nuclear do Departamento de Energia dos EUA, executando exercícios de equipes vermelhas para testar seus modelos Claude em ambientes de alta segurança. Essa iniciativa enfatiza o foco crescente na segurança da IA, particularmente em contextos em que a IA pode afetar a segurança nacional. Em fevereiro de 2025, a empresa anunciou uma mudança em sua estratégia de IA com a estrutura de AI da Frontier, que divide os modelos em categorias de”alto risco”e”risco crítico”. A Meta explicou que os modelos de risco crítico não seriam mais lançados publicamente sem salvaguardas rigorosas. A meta enfatizou que seu objetivo é minimizar os riscos catastróficos associados a esses modelos. À medida que mais empresas recalibram suas estratégias, a proposta da DeepMind se encaixa em um padrão maior de cautela à medida que a indústria lida com o futuro da AGI. Em fevereiro, o Anthrópio lançou o classificador constitucional, um sistema de filtragem externo projetado para evitar instruções adversárias e saídas prejudiciais de seus modelos de IA. Os testes mostraram que o classificador reduziu as taxas de sucesso do jailbreak de 86% para apenas 4,4%. Nenhum dos participantes conseguiu quebrá-lo completamente, ressaltando a crescente sofisticação de ferramentas projetadas para conter sistemas de IA. Ao analisar as ativações neurais, pode rastrear como o modelo processa informações e detecta comportamentos potencialmente prejudiciais. Introduzido em dezembro de 2024, o Clio analisa milhões de conversas com Claude para detectar padrões de uso indevido. O sistema prioriza a privacidade, anonimizando as conversas antes de processá-las. Essa abordagem proativa para monitorar o comportamento da IA alinha com a ênfase do DeepMind na necessidade de supervisão de segurança contínua à medida que os sistemas de IA se tornam mais sofisticados. A Lei de IA da União Europeia, que entrou em vigor em 2 de fevereiro, proíbe certos sistemas de IA considerados para representar”riscos inaceitáveis”e impõe requisitos estritas de transparência aos que os modelos são considerados de alto risco. Empresas como OpenAI e Meta se comprometeram publicamente a atender a esses requisitos, embora muitas ainda não tenham cumprido completamente. A Comissão Europeia já indicou que a não conformidade pode resultar em pesadas multas-até 6% da receita global de uma empresa por violações. No entanto, conforme relatado pelo TechCrunch, antropia reverteu silenciosamente vários compromissos de segurança que assumiu nos primeiros dias do governo Biden, levantando questões sobre a consistência dos esforços de auto-regulação do setor. Esse cenário prepara o cenário para o apelo de DeepMind para uma governança mais forte. As empresas de hardware também estão desempenhando um papel na construção de infraestrutura de segurança da IA. A NVIDIA, por exemplo, introduziu o Nemo Guardrails em janeiro de 2025, um conjunto de microsserviços projetados para fornecer salvaguardas em tempo real contra comportamentos prejudiciais da IA. As ferramentas incluem filtros de segurança de conteúdo, detecção de jailbreak e controle de tópicos, todos projetados para trabalhar em conjunto com os modelos existentes para garantir que eles permaneçam em conformidade com os protocolos de segurança. Kari Briski, vice-presidente da Enterprise AI Models da NVIDIA, observou que esses sistemas permitem que as empresas”protejam seus modelos contra saídas nocivas”, mantendo o desempenho de baixa latência. Ao integrar essas tecnologias, a NVIDIA está se posicionando como um participante importante na segurança futura da IA. Embora a estrutura de DeepMind defenda uma estrutura de governança global, fica claro que o caminho para garantir a IA exigirá uma ação concertada de desenvolvedores e provedores de hardware.
