O recém-lançado AI Safety Index 2024 do Future of Life Institute (FLI) revelou deficiências graves nas práticas de segurança de IA em seis empresas líderes, incluindo Meta, OpenAI e Google DeepMind.
A IA O Índice de Segurança classificou a Anthropic em primeiro lugar, com nota “C”, mas o restante das empresas – Meta, OpenAI, Google DeepMind, xAI e Zhipu AI – recebeu pontuações sombrias, com a Meta falhando completamente.
As descobertas ressaltam a necessidade urgente de governança e gerenciamento de riscos mais fortes em um setor que corre para desenvolver sistemas de IA cada vez mais avançados.
O presidente da FLI, Max Tegmark, descreveu a situação sem rodeios para o IEEE Spectrum: “Sinto que os líderes dessas empresas estão presos em uma corrida até o fundo do poço da qual nenhum deles consegue sair, não importa quão bondosos sejam.”
O A FLI avaliou as empresas em seis categorias, incluindo avaliação de risco, governança e estratégias de segurança existencial. Apesar do foco da indústria no desenvolvimento de sistemas poderosos, o relatório destaca uma lacuna significativa entre as capacidades tecnológicas e as medidas de segurança eficazes.
Anthropic lidera o grupo com um “C” medíocre
Anthropic emergiu como o melhor desempenho no Índice, embora sua nota “C” indique que ainda há espaço substancial para melhorias. A “política de escalonamento responsável” da empresa se destacou como um exemplo positivo.
Esta política exige que todos os modelos sejam submetidos a avaliações de risco rigorosas para identificar e mitigar danos catastróficos antes da implantação. benchmarks de segurança, ganhando um “B-“na categoria de abordagem aos danos atuais, a pontuação mais alta nessa área.
Apesar de seu desempenho relativamente forte, a Anthropic também foi criticada por sua falta de uma estratégia abrangente gerenciar riscos existenciais – uma questão compartilhada por todas as empresas avaliadas.
Fonte: iniciativa FutureOfLife
Os revisores observaram que, embora Anthropic, OpenAI e Google DeepMind tenham articulado abordagens iniciais para a segurança existencial, esses esforços permanecem preliminares e insuficientes para enfrentar a escala do desafio.
Meta recebe nota “F”à medida que aumentam as preocupações com segurança
No extremo oposto do espectro, Meta recebeu nota baixa por suas práticas inadequadas de governança e segurança. O relatório identificou grandes lacunas em Transparência, estruturas de responsabilização e estratégias de segurança existencial da Meta A ausência de medidas de segurança significativas levantou preocupações sobre a capacidade da empresa de gerenciar os riscos associados aos seus desenvolvimentos de IA.
O fraco desempenho da Meta destaca uma questão mais ampla. na indústria. Apesar dos investimentos significativos na investigação em IA, muitas empresas não deram prioridade às estruturas de governação necessárias para garantir que as suas tecnologias são seguras e alinhadas com os valores sociais. Esta falta de priorização é agravada por um ambiente competitivo que recompensa a implementação rápida em vez da cautela.
Transparência: um ponto fraco persistente
A transparência foi outra área crítica em que as empresas tiveram um desempenho inferior. Apenas xAI e Zhipu AI responderam aos questionários de segurança personalizados enviados pela FLI, obtendo pontuações ligeiramente mais altas nesta categoria.
As outras empresas não forneceram insights detalhados sobre suas práticas internas de segurança, enfatizando ainda mais a opacidade que muitas vezes envolve o desenvolvimento de IA.
Em resposta ao relatório, o Google DeepMind emitiu uma declaração defendendo sua abordagem, dizendo: “Embora o índice incorpore alguns dos esforços de segurança de IA do Google DeepMind e reflita os esforços adotados pela indústria benchmarks, nossa abordagem abrangente à segurança da IA vai além do que é capturado.”
No entanto, os revisores não ficaram convencidos, apontando que sem maior transparência, é impossível avaliar se essas afirmações se traduzem em ações significativas.
Max Tegmark enfatizou a importância da pressão externa, observando: “Se uma empresa não está sentindo pressão externa para atender aos padrões de segurança, então outras pessoas na empresa verão você apenas como um incômodo, alguém que está tentando desacelerar as coisas e jogar cascalho nas máquinas. Mas se esses pesquisadores de segurança forem repentinamente responsáveis por melhorar a reputação da empresa, eles obterão recursos, respeito e influência.”
Estratégias de risco existencial: uma falha comum
Uma das descobertas mais preocupantes do Índice foi o fracasso universal das empresas em desenvolver estratégias robustas de risco existencial, enquanto a maioria das empresas aspira publicamente a criar inteligência artificial geral (AGI) – sistemas de IA capazes de cognição em nível humano.-nenhum deles desenvolveu uma abordagem abrangente planeja garantir que esses sistemas permaneçam alinhados com os valores humanos.
Tegmark destacou a gravidade deste problema, afirmando, “A verdade é que ninguém sabe como controlar uma nova espécie que é muito mais inteligente do que nós.”
Stuart Russell ecoou esse sentimento, aviso, “À medida que esses sistemas ficam maiores, é possível que a direção tecnológica atual nunca consiga suportar as garantias de segurança necessárias.”
A falta de estratégias concretas de segurança existencial foi particularmente preocupante, dadas as crescentes capacidades dos sistemas de IA. Os revisores enfatizaram que, sem estruturas claras, os riscos representados pela AGI poderiam aumentar rapidamente.
História do Índice de Segurança de IA
O Índice de Segurança de IA baseia-se em anteriores Iniciativas da FLI, incluindo a amplamente discutida “carta de pausa” de 2023, que pedia uma licença temporária interromper o desenvolvimento de sistemas avançados de IA para estabelecer protocolos de segurança robustos
A carta, assinada por mais de 33.700 indivíduos, incluindo nomes de destaque como Elon Musk e Steve Wozniak, foi finalmente ignorada pelas empresas visadas.. O Índice 2024 representa o esforço mais recente da FLI para responsabilizar o setor, classificando publicamente as empresas quanto às suas práticas de segurança.
O Índice visa promover a transparência, capacitar equipes internas de segurança e incentivar a supervisão externa para prevenir riscos potencialmente catastróficos.
Um apelo à supervisão regulamentar
O relatório da FLI conclui com um apelo a quadros regulamentares mais fortes para resolver as lacunas identificadas no Índice. A Tegmark propôs a criação de um órgão de supervisão semelhante ao. os EUA Food and Drug Administration (FDA) avaliará os sistemas de IA antes de serem implantados
Essa agência poderia impor padrões de segurança obrigatórios, mudando as pressões competitivas da indústria de priorizar a velocidade para priorizar a segurança.
O vencedor do Prêmio Turing, Yoshua Bengio, outro palestrante do Índice, apoiou esta proposta, afirmando: “Avaliações como esta destacam práticas de segurança e incentivar as empresas a adotar abordagens mais responsáveis.”Bengio argumentou que a supervisão independente é essencial para garantir que as empresas não economizem na busca pelo domínio do mercado.
Como o índice foi compilado
2024 O AI Safety Index foi desenvolvido por meio de um processo de avaliação meticuloso liderado por um painel de sete especialistas independentes, incluindo Bengio, Russell e a fundadora da Encode Justice, Sneha Revanur.
O painel avaliou as empresas em 42 indicadores abrangendo seis categorias: avaliação de riscos, danos atuais, transparência, governança, segurança existencial e comunicação.
A metodologia combinou dados públicos, como documentos de políticas, documentos de pesquisa e relatórios do setor, com respostas a um questionário personalizado. No entanto, a participação limitada das empresas neste processo sublinhou os desafios de alcançar a transparência na indústria.
David Krueger, membro do painel e investigador de IA, observou: “É horrível que as próprias empresas cujos líderes prevêem a IA possam fim da humanidade não temos estratégia para evitar tal destino.”
Implicações para o futuro da governança da IA
O Índice de Segurança da IA de 2024 pinta um Um quadro preocupante do estado actual da governação da IA. Embora empresas como a Anthropic estejam a fazer progressos, as conclusões globais revelam uma falta de preparação para gerir os riscos colocados pelas tecnologias avançadas de IA. estabelecer protocolos de segurança e supervisão regulatória mais fortes para garantir que o desenvolvimento da IA esteja alinhado aos interesses da sociedade.
Como observou Tegmark , “Sem pressão externa e padrões robustos, a corrida para desenvolver a IA poderia levar a consequências catastróficas.”
