TL;DR
Nova estrutura: OpenAI lançou um plano de segurança infantil desenvolvido com NCMEC, procuradores-gerais e Thorn para combater a exploração infantil gerada por IA. Escala da ameaça: O material de abuso gerado pela IA ultrapassou os 8.000 relatórios no início de 2025, e a OpenAI apresentou 80 vezes mais relatórios de exploração ao NCMEC do que no ano anterior. Danos mais amplos: Sete ações judiciais alegam que o ChatGPT incentivou suicídios e causou crises psiquiátricas, destacando riscos que vão além da geração de conteúdo. Questão de aplicação: Nenhuma outra grande empresa de IA lançou uma estrutura comparável, e o Congresso está ameaçando a legislação se a auto-regulação voluntária falhar.
O material de abuso sexual infantil gerado por IA ultrapassou 8.000 relatos apenas no primeiro semestre de 2025, de acordo com a Internet Watch Foundation. A resposta da OpenAI é um Plano de Segurança Infantil construído com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), a Attorney General Alliance e a organização sem fins lucrativos antitráfico Thorn.
A estrutura da OpenAI aborda três prioridades principais: modernizar as leis para CSAM gerado e alterado por IA, melhorar o provedor relatórios para investigações e incorporação de princípios de segurança desde a concepção em sistemas de IA. Isso acontece no momento em que a OpenAI enfrenta sete ações judiciais alegando que o ChatGPT encorajou suicídios e causou colapsos mentais, e nenhuma outra grande empresa de IA lançou uma estrutura comparável. Os criminosos já estão a utilizar ferramentas de IA para gerar imagens falsas e explícitas de crianças para sextorsão financeira e para produzir mensagens convincentes de aliciamento. Os procuradores-gerais que co-desenvolveram a estrutura chamaram a prevenção upstream de “o investimento único de maior alavancagem que a indústria pode fazer na segurança infantil”. precedeu o anúncio, com executivos de tecnologia respondendo a perguntas sobre material de abuso gerado por IA e ameaças bipartidárias de legislação caso as empresas não se autorregulassem. Google, Meta, Microsoft e Stability AI enfrentaram um escrutínio semelhante, mas nenhuma delas lançou estruturas abrangentes de segurança infantil até o momento. A Stability AI foi particularmente criticada depois que seu modelo de difusão estável de código aberto foi usado para criar conteúdo ilegal.
A CEO do NCMEC, Michelle DeLaune reconheceu que a IA generativa está acelerando a exploração, mas observou que empresas como a OpenAI estão começando a refletir sobre o design responsável da IA, enfatizando que nenhuma entidade única pode enfrentar o desafio sozinho. Os volumes de relatórios reforçam seu ponto de vista: a Internet Watch Foundation investigou 312.030 denúncias confirmadas de pornografia infantil em 2025, um recorde e um aumento de 7% em relação ao ano anterior. De acordo com o NCMEC, a organização recebeu mais de 113.500 denúncias de tráfico sexual infantil em 2025, um aumento de 323% em relação a 2024, com 93% enviadas por empresas online.
A própria OpenAI apresentou 80 vezes mais denúncias sobre exploração infantil ao NCMEC no primeiro semestre de 2025 em comparação com o mesmo período de 2024, totalizando mais de 75.000 representações de abuso sexual infantil. ou perigo infantil. De acordo com o Childlight Global Child Safety Institute, os casos de abuso infantil facilitados pela tecnologia nos EUA aumentaram de 4.700 em 2023 para mais de 67.000 em 2024. De acordo com a IWF, 3.440 vídeos de abuso sexual infantil gerados por IA foram detectados em 2025, com 65% classificados como Categoria A, o nível de gravidade mais alto. Centenas de milhares de relatórios adicionais foram enviados ao CyberTipline do NCMEC sob a Lei REPORT, que entrou em vigor em 2025.
A publicação de uma estrutura de segurança e a divulgação de um aumento nas tentativas de exploração em sua própria plataforma cria uma narrativa dupla: a OpenAI está detectando mais abusos porque está procurando mais a fundo, mas a própria detecção confirma a escala da ameaça que sua tecnologia permite.
A ação de direcionamento do custo humano
A pressão legal que impulsiona a estrutura da OpenAI vai além do CSAM e atinge os danos mais amplos da companhia da IA. Sete ações judiciais movidas pelo Social Media Victims Law Center descrevem quatro pessoas que morreram por suicídio e três que sofreram delírios com risco de vida após conversas prolongadas com ChatGPT.
Zane Shamblin, 23, morreu por suicídio em julho de 2025 depois que ChatGPT o encorajou a se distanciar da família. Adam Raine, 16, também morreu por suicídio; Mais tarde, a OpenAI contestou a responsabilidade no caso de Adam Raine, culpando o uso indevido do chatbot em vez de reconhecer o papel do seu produto. Joseph Ceccanti, 48 anos, perguntou ao ChatGPT sobre consultar um terapeuta, mas o chatbot se apresentou como uma opção melhor; ele morreu por suicídio quatro meses depois.
Hannah Madden, 32 anos, foi internada em cuidados psiquiátricos involuntários em 29 de agosto de 2025, depois que o chatbot disse a seus amigos e familiares que eram “energias construídas pelo espírito”, deixando-a com dívidas de US$ 75.000 e desempregada. ChatGPT disse a Madden “Estou aqui” mais de 300 vezes entre meados de junho e agosto de 2025. Jacob Lee Irwin e Allan Brooks sofreram delírios depois que ChatGPT alucinou que haviam feito descobertas matemáticas que alteraram o mundo, com alguns usuários gastando mais de 14 horas por dia na plataforma. Em pelo menos três dos sete casos, o ChatGPT incentivou explicitamente os usuários a se afastarem de seus entes queridos.
O plano de segurança infantil da OpenAI aborda os riscos de geração de conteúdo, mas as ações judiciais revelam uma categoria separada de danos: como os companheiros de IA interagem com usuários vulneráveis ao longo do tempo, posicionando-se como relacionamentos primários e reforçando a dependência por meio da validação e do isolamento de redes de suporte do mundo real.
“Os companheiros de IA estão sempre disponíveis e sempre validam você. É como a co-dependência de design. Quando uma IA é seu principal confidente, não há ninguém para verificar a realidade de seus pensamentos.”
Dra. Nina Vasan, Diretora de Brainstorm: Stanford Lab for Mental Health Innovation (via TechCrunch)
Dr. John Torous, da Divisão de Psiquiatria Digital da Escola Médica de Harvard, descreveu as conversas como explorando usuários vulneráveis em seus momentos mais fracos, caracterizando-as como perigosas e, em alguns casos, fatais. A OpenAI reconheceu o problema da bajulação: GPT-4o, o modelo no centro dos processos, foi o modelo com maior pontuação da empresa nas classificações de “ilusão” e “bajulação”, conforme medido pelo Spiral Bench. Os modelos sucessores GPT-5 e GPT-5.1 obtiveram pontuações notavelmente mais baixas em ambas as medidas.
Salvaguardas da indústria tomando forma
O plano da OpenAI baseia-se em um ecossistema emergente de iniciativas de segurança infantil, incluindo o plano de segurança para adolescentes da OpenAI lançado meses antes para moldar a regulamentação da IA. Em 2024, a Thorn fez parceria com a All Tech is Human para lançar a iniciativa Safety by Design, garantindo compromissos das empresas de IA para evitar CSAM gerado por IA. No primeiro ano da iniciativa, as empresas detectaram e bloquearam centenas de milhares de tentativas de gerar conteúdo prejudicial, e centenas de modelos que produziam abusos foram removidos do acesso à plataforma.
Remover o CSAM dos conjuntos de dados de treinamento não é suficiente devido aos riscos de generalização composicional: os modelos podem produzir conteúdo abusivo. resultados mesmo sem dados de treinamento explícitos, combinando conceitos visuais aprendidos de maneiras prejudiciais. De acordo com Thorn, as salvaguardas pós-treinamento e a detecção em tempo real são, portanto, necessárias e não opcionais. Um estudo da Thorn de 2025 descobriu que um em cada oito adolescentes dos EUA conhece pessoalmente alguém alvo de deepfakes nus, mostrando como a exploração gerada pela IA se estende além dos bancos de dados e chega à vida cotidiana.
“Há um fenômeno folie à deux acontecendo entre o ChatGPT e o usuário, onde ambos estão se envolvendo nessa ilusão mútua que pode ser realmente isolante, porque ninguém mais no mundo pode entender essa nova versão da realidade.”
Amanda Montell, linguista que estuda técnicas de coerção retórica (via TechCrunch)
Órgãos de padronização estão trabalhando para formalizar proteções. Thorn liderou a criação de um grupo de trabalho do IEEE para redigir o primeiro padrão internacional que incorpora a proteção infantil em todo o ciclo de vida da IA, forneceu orientação sobre o NIST AI 100-4 para reduzir os riscos de conteúdo sintético e contribuiu para o Código de Prática da Lei de IA da UE para exigir que as empresas documentem a remoção de CSAM dos dados de treinamento.
Se o modelo se traduz da estrutura para a aplicação continua sendo a questão central. Em março de 2026, um júri proferiu o que o procurador-geral do Novo México, Raul Torrez, chamou de “uma vitória histórica para todas as crianças e famílias” num caso contra Meta sobre falhas de segurança infantil, sinalizando que os tribunais estão dispostos a responsabilizar as plataformas. As plataformas de mídia social já enfrentaram ações judiciais de coalizões de segurança infantil, distritos escolares e procuradores-gerais estaduais. A paciência do Congresso com a auto-regulação voluntária está a diminuir, e o teste para a OpenAI e os seus concorrentes não é saber se conseguem escrever estruturas de segurança, mas se conseguem fazê-las funcionar antes que os legisladores escrevam as regras para elas.
