Dezesseis empresas proeminentes de IA, incluindo Google, Microsoft, IBM e OpenAI, concordaram em desativar suas tecnologias se elas apresentarem sinais de causar resultados prejudiciais. Este compromisso foi assumido durante o AI Seoul Summit 2024 na Coreia do Sul, um evento significativo após a AI Safety Summit do ano passado. A cimeira anterior resultou na Declaração de Bletchley, assinada por 28 nações e pela UE, que delineou uma visão para gerir os riscos da IA sem compromissos vinculativos.
Compromissos de segurança da IA de fronteira
A Cúpula de Seul introduziu os Compromissos de Segurança da Frontier AI, que exigem que as empresas participantes publiquem estruturas de segurança. Estas estruturas irão detalhar como planeiam medir e gerir os riscos associados aos seus modelos de IA. As empresas devem especificar quando os riscos se tornam inaceitáveis e delinear as ações que tomarão em tais cenários. Se a mitigação de riscos falhar, os signatários comprometeram-se a interromper o desenvolvimento ou implantação do modelo ou sistema problemático de IA.
Os signatários comprometeram-se com diversas iniciativas, incluindo a formação de equipes em seus modelos de IA, o compartilhamento de informações, o investimento na segurança cibernética e no incentivo ao relato de vulnerabilidades de terceiros. Eles também se comprometeram a rotular o conteúdo gerado pela IA, priorizar a pesquisa sobre riscos sociais e usar a IA para enfrentar os desafios globais.
Entre os signatários estão OpenAI, Microsoft, Amazon, Anthropic, Cohere, G42, Inflection AI, Meta, Mistral AI, Naver, Samsung Electronics, Technology Instituto de Inovação, xAI e Zhipu.ai. Espera-se que os detalhes desses compromissos sejam finalizados em “AI Action Summit”agendada para o início de 2025.
As organizações concordaram com a seguinte Frontier AI Compromissos de segurança:
“Resultado 1. As organizações identificam, avaliam e gerenciam efetivamente os riscos ao desenvolver e implantar seus modelos e sistemas de IA de ponta. Elas irão:
. I. Avaliar os riscos colocados pelos seus modelos ou sistemas fronteiriços ao longo do ciclo de vida da IA, incluindo antes da implantação desse modelo ou sistema e, conforme apropriado, antes e durante a formação. As avaliações de risco devem considerar as capacidades do modelo e o contexto em que são desenvolvidos e. implementados, bem como a eficácia das mitigações implementadas para reduzir os riscos associados ao seu uso previsível e uso indevido. Eles também devem considerar os resultados de avaliações internas e externas, conforme apropriado, tais como por avaliadores terceirizados independentes, seus governos de origem [nota de rodapé 2. ], e outros órgãos que seus governos considerem apropriados.
II. Estabelecer limites [nota de rodapé 3] nos quais os riscos graves representados por um modelo ou sistema, a menos que sejam adequadamente mitigados, seriam considerados intoleráveis. Avalie se estes limites foram violados, incluindo a monitorização da proximidade de um modelo ou sistema de tal violação. Estes limiares devem ser definidos com a contribuição de intervenientes de confiança, incluindo os respetivos governos nacionais das organizações, conforme apropriado. Devem alinhar-se com os acordos internacionais relevantes dos quais os seus governos nacionais são partes. Deverão também ser acompanhados de uma explicação de como os limites foram decididos e de exemplos específicos de situações em que os modelos ou sistemas representariam um risco intolerável.
III. Articular como as mitigações de riscos serão identificadas e implementadas para manter os riscos dentro dos limites definidos, incluindo mitigações de riscos relacionados à segurança, como a modificação de comportamentos do sistema e a implementação de controles de segurança robustos para pesos de modelos não divulgados.
IV. Estabeleça processos explícitos que pretendem seguir se o seu modelo ou sistema apresentar riscos que atendam ou excedam os limites predefinidos. Isto inclui processos para continuar a desenvolver e implementar os seus sistemas e modelos apenas se avaliarem que os riscos residuais permaneceriam abaixo dos limiares. No extremo, as organizações comprometem-se a não desenvolver ou implementar um modelo ou sistema, se as mitigações não puderem ser aplicadas para manter os riscos abaixo dos limites.
V. Investir continuamente no avanço da sua capacidade de implementar os compromissos i-iv, incluindo avaliação e identificação de riscos, definição de limiares e eficácia da mitigação. Isto deve incluir processos para avaliar e monitorar a adequação das mitigações e identificar mitigações adicionais conforme necessário para garantir que os riscos permaneçam abaixo dos limites predefinidos. Eles contribuirão e levarão em conta as melhores práticas emergentes, os padrões internacionais e a ciência na identificação, avaliação e mitigação de riscos de IA.
Resultado 2. As organizações são responsáveis pelo desenvolvimento e implantação segura de suas fronteiras Modelos e sistemas de IA. Eles irão:
VI. Cumprir os compromissos descritos em IV, inclusive desenvolvendo e revisando continuamente estruturas internas de responsabilização e governança e atribuindo funções, responsabilidades e recursos suficientes para fazê-lo.
Resultado 3. Abordagens das organizações à IA de fronteira segurança são adequadamente transparentes para os intervenientes externos, incluindo os governos. Eles irão:
VII. Fornecer transparência pública na implementação do acima (I-VI), exceto na medida em que isso aumentaria o risco ou divulgaria informações comerciais confidenciais em um grau desproporcional ao benefício social. Deverão ainda partilhar informações mais detalhadas que não possam ser partilhadas publicamente com intervenientes de confiança, incluindo os respetivos governos nacionais ou organismos nomeados, conforme apropriado.
VIII. Explique como, se é que o fazem, os intervenientes externos, como governos, sociedade civil, académicos e o público, estão envolvidos no processo de avaliação dos riscos dos seus modelos e sistemas de IA, a adequação do seu quadro de segurança (conforme descrito em I-VI) e sua adesão a essa estrutura.”
Cooperação Global e Planos Futuros
Em um artigo de opinião escrito em conjunto, O primeiro-ministro do Reino Unido, Rishi Sunak, e o presidente sul-coreano, Yoon Suk Yeol, enfatizaram a urgência de acelerar esforços na governação da IA A Cimeira de Seul também viu a adoção da Declaração de Seul, que destaca a importância da interoperabilidade entre os quadros de governação da IA para maximizar os benefícios e mitigar os riscos. Esta declaração foi aprovada por representantes do G7, Singapura, Austrália, a ONU, a OCDE e a UE, juntamente com os líderes da indústria.
