Ai líder de segurança antrópica é proposina Uma nova estrutura de políticas Com o objetivo de aumentar a transparência no desenvolvimento de”Frontier”Ai. A proposta exige que grandes empresas de IA divulguem publicamente seus protocolos de segurança por meio de uma”estrutura de desenvolvimento segura”e”cartões de sistema detalhados”. A abordagem”leve”do Anthropic procura aumentar a confiança e a responsabilidade do público, padronizando os relatórios de segurança. Oferece uma alternativa flexível à regulamentação governamental rígida ao atender à necessidade urgente de supervisão. href=”https://www-cdn.anthropic.com/19cc4bf9eb6a94f9762ac67368f3322cf82b09fe.pdf”Target=”_ Blank”> Secure Development Framework (SDF) . Este documento descreveria como uma empresa avalia e mitiga riscos catastróficos irracionais antes de implantar um novo modelo. Ele tem como alvo ameaças de desenvolvimento de armas químicas, biológicas, radiológicas e nucleares (CBRN). Ele também aborda os danos potenciais de modelos que agem de maneira autônoma de maneira contrária à intenção de seus desenvolvedores.
Ao lado do SDF, as empresas publicariam”cartões do sistema”ou documentos semelhantes. Isso resumiria os procedimentos de teste de modelo, os resultados da avaliação e quaisquer mitigações necessárias. Isso cria um registro público das capacidades e limitações de um modelo no momento de seu lançamento. A Companhia argumenta que “os rígidos padrões impostos pelo governo seriam especialmente contraproducentes, uma vez que os métodos de avaliação ficam desatualizados em meses devido ao ritmo da mudança tecnológica”, um aceno ao ritmo rápido da inovação que pode tornar as regras técnicas específicas obsoletas quase imediatamente. Antrópica sugere limites como US $ 100 milhões em receita anual ou US $ 1 bilhão em gastos com P&D para evitar startups sobrecarregadas. Ele também inclui disposições para proteções de denunciantes, tornando ilegal um laboratório mentir sobre sua conformidade. Empresas como o Google Deepmind, OpenAI e
O momento dessa proposta também é politicamente astuto. Com um potencial administração de Trump teria focado mais na competição de IA do que nas regras estritas, essa estrutura de”toque leve”, liderada pela indústria, poderia ser vista como um caminho mais palatável para os formuladores de políticas. É uma resposta direta a um ano atormentado por falhas de IA de alto perfil que corroeram a confiança do público. A indústria tem lidado com o comportamento emergente e muitas vezes imprevisível de seus sistemas mais avançados. Pesquisas recentes revelaram tendências alarmantes. Um ex-pesquisador do Openai, Steven Adler, publicou um estudo alegando que”os sistemas modernos de IA têm valores diferentes do que você esperaria que eles fossem”, depois que seus testes mostraram o GPT-4O priorizando a autopreservação em relação à segurança do usuário. Isso se seguiu à pesquisa do OpenAI, identificando uma”persona desalinhada”controlável dentro de seus modelos. Esses incidentes destacam uma lacuna crescente entre a função pretendida e o comportamento real. A falha “Ecoleak” no Microsoft 365 Copilot foi uma exploração zero clicho que permitiu aos atacantes enganar a IA a vazar dados corporativos por meio de um único email. enfrentando um acerto de contas sobre lapsos éticos em produtos implantados. O aplicativo de email da Apple foi criticado por um recurso de classificação de IA que rotulou erroneamente os e-mails de phishing como”importantes”, emprestando-lhes credibilidade falsa. href=”https://www.gartner.com/en/newsroom/press-releases/2024-10-22-gartner-unveils-top-predictions-for-it-organizações de atores externos e maliciosos O risco é agravado pela turbulência interna nos principais laboratórios do setor. O debate foi amplificado pela renúncia de alto perfil do ano passado de Jan Like, ex-co-líder da equipe de segurança da Openai. Ele afirmou publicamente que, na empresa,”a cultura e os processos de segurança levaram um banco traseiro a produtos brilhantes”, um sentimento que ressoou com muitos críticos que sentem que a corrida por capacidade está superando a disciplina de segurança. Ao pressionar por responsabilidade pública e padronizar as divulgações de segurança, a empresa está tentando estabelecer uma nova linha de base para o desenvolvimento responsável. A proposta serve como uma ferramenta prática e um movimento estratégico para moldar o futuro do regulamento da IA.