A MLCommons lançou o AILuminate, um novo benchmark focado na avaliação de riscos de segurança em grandes modelos de linguagem (LLMs), que oferece uma estrutura estruturada para abordar preocupações sobre riscos éticos e operacionais de IA.
AILuminate foi projetado para medir como os sistemas de IA lidam com desafios críticos, como discurso de ódio, desinformação e uso indevido contextual.
Ao direcionar sistematicamente os riscos de segurança, AILuminate pretende estabelecer um novo padrão para avaliar a prontidão dos sistemas de IA em aplicações do mundo real. O benchmark chega no momento em que a indústria enfrenta um escrutínio cada vez maior sobre as implicações éticas da implantação de modelos poderosos de IA.
Estrutura AILuminate para um desenvolvimento de IA mais seguro
AILuminate usa mais de 24.000 testes solicita em 12 categorias de risco que avaliem os riscos éticos e práticos apresentados pelos LLMs. Os modelos são classificados em uma escala de “ruim” a “excelente”, fornecendo aos desenvolvedores feedback prático para lidar com vulnerabilidades.
Os primeiros resultados do AILuminate revelam as diversas capacidades dos modelos populares no gerenciamento de riscos de segurança. Phi-3.5-MoE Instruct da Microsoft e Claude da Anthropic obtiveram pontuação “muito boa”, enquanto GPT-4o da OpenAI e Llama 3.1 da Meta acabaram de receber a classificação “bom”.
Relacionado: Como Pressionar “Parar” no ChatGPT pode neutralizar suas salvaguardas
Enquanto isso, modelos focados em pesquisa, como o OLMo do Instituto Allen, pontuaram “ruim”, ressaltando os desafios de adaptação de sistemas experimentais para uso prático.
A classificação “razoável” de dois modelos Mistral mostra os desafios que a ambiciosa startup francesa de IA ainda enfrenta, que recentemente introduziu capacidades multimodais e uma ampla gama de recursos competitivos para seu chatbot Le Chat em uma atualização recente.
O benchmark atualmente oferece suporte ao inglês, mas deve se expandir para outros idiomas, incluindo francês, chinês e hindi, até 2025. Esse foco multilíngue visa para abordar questões de segurança em diversas línguas e contextos culturais.
Relacionado: Meta sofre crise de desinformação da IA do Facebook em meio a esforços de alívio do furacão
Abordando riscos éticos com insights acionáveis
O foco da AILuminate em perigos como discurso de ódio, desinformação e uso indevido contextual reflete a complexidade das interações de IA. Ao contrário dos modelos anteriores, que lidavam principalmente com tarefas simples, os LLMs de hoje envolvem-se em raciocínios complexos e geram resultados diferenciados.
Isso aumenta o risco de consequências não intencionais, desde preconceitos sutis na geração da linguagem até comportamentos abertamente prejudiciais.
Relacionado: Desinformação eleitoral nos EUA solicita mudanças no x.AI Grok Chatbot
Uma categoria particularmente desafiadora abordada pelo AILumate é “contextual perigos.”Esses são cenários em que as respostas da IA podem ser inadequadas com base no contexto da consulta. Por exemplo, embora um chatbot jurídico possa fornecer referências de jurisprudência de maneira adequada, a mesma resposta de um assistente de uso geral pode levar ao uso indevido ou à interpretação incorreta.
Os riscos contextuais são particularmente desafiadores, já que os sistemas de IA muitas vezes não possuem a compreensão diferenciada necessária para navegar em aplicações sensíveis, como aconselhamento médico ou jurídico.
Complementando benchmarks de desempenho com segurança Métricas
AILuminate fornece um contrapeso aos benchmarks existentes focados no desempenho, abordando os riscos éticos e operacionais da implantação de sistemas de IA.
Ao contrário dos benchmarks de desempenho, que priorizam velocidade e eficiência , o AILuminate destaca o impacto social das tecnologias de IA e identifica áreas para melhoria.
Ao fornecer aos desenvolvedores métricas claras e insights acionáveis, o AILuminate preenche uma lacuna crítica no pipeline de desenvolvimento de IA, garantindo que os avanços em o desempenho não supera as considerações de segurança e ética.
Natasha Crampton, Diretora Responsável de IA da Microsoft, enfatizou a importância da colaboração na construção de um ecossistema de IA mais seguro.
“Os desenvolvedores de As tecnologias de IA e as organizações que utilizam IA têm um interesse comum em avaliações de segurança transparentes e práticas. A IA só será adotada e utilizada para enfrentar os maiores desafios da sociedade se as pessoas confiarem que ela é segura. O benchmark AILuminate representa um progresso importante no desenvolvimento de técnicas de avaliação eficazes e baseadas em pesquisa para testes de segurança de IA”, disse ela.
Relacionado: Antrópico Urge Regulamentação Global Imediata de IA: 18 meses ou É tarde demais
Uma mudança em direção à responsabilidade no desenvolvimento de IA
A introdução do AILuminate se alinha com tendências mais amplas do setor, enfatizando as recentes mudanças regulatórias responsáveis. como a Ordem Executiva de 2023 do presidente Biden sobre segurança de IA, que foi recentemente ampliada com um novo memorando de segurança nacional, destacam a necessidade de medidas robustas para garantir a implantação segura de modelos avançados.
Os participantes da indústria responderam defendendo para estruturas que abordam riscos éticos e técnicos, buscando influenciar o cenário regulatório de forma proativa. Benchmarks como o AILuminate desempenham um papel fundamental nesses esforços, pois não apenas informam o desenvolvimento interno, mas também servem como ferramentas para o desenvolvimento externo. responsabilidade.
Os resultados recentemente publicados do benchmark SimpleQA da OpenAI, que revelaram problemas persistentes com alucinações no GPT-4o, ressaltam a importância de iniciativas como o AILumate. As alucinações – quando a IA gera afirmações falsas ou sem fundamento – são particularmente problemáticas em domínios que exigem elevados níveis de precisão, como os cuidados de saúde e as finanças. O relatório da OpenAI destacou que mesmo os modelos de primeira linha tiveram dificuldades com a consistência factual, alcançando taxas de precisão abaixo de 43%.
Esperamos que estruturas como o AILuminate ajudem a reduzir esses problemas generalizados na produção do LLM, identificando cenários onde as alucinações são mais prováveis ocorrer.