A OpenAI compartilhou na segunda-feira novos dados sobre os riscos à saúde mental enfrentados pelos usuários do ChatGPT, revelando que a cada semana centenas de milhares de pessoas mostram sinais de psicose ou pensamentos suicidas em seus bate-papos.
Em resposta, a empresa sediada em São Francisco lançou atualizou sua IA para lidar melhor com essas conversas confidenciais. Sua decisão ocorre em meio a intensa pressão dos reguladores e do público, enquanto a OpenAI enfrenta uma investigação federal e ações judiciais de pais que alegam que o chatbot desempenhou um papel na morte de seus filhos.
Esses novos recursos de segurança são uma resposta direta a uma crise crescente de delírios provocados pela IA e danos graves aos usuários.
Uma crise à vista: o custo humano do envolvimento da IA
Sob a superfície dos anúncios de segurança da empresa existe uma realidade sombria, agora quantificada por O próprio OpenAI. A gigante da IA estima que, semanalmente, 0,15% de seus usuários ativos têm conversas que mostram sinais de possível planejamento suicida.
Além disso, a empresa divulgou que 0,07% dos usuários mostram sinais de psicose ou mania, enquanto outros 0,15% exibem um forte apego emocional ao chatbot.
O reconhecimento público da OpenAI segue uma onda de relatos angustiantes de usuários. Uma investigação recente revelou que a Comissão Federal de Comércio (FTC) recebeu pelo menos 200 reclamações sobre o ChatGPT, com várias alegando danos psicológicos graves.
Um reclamante da Virgínia descreveu ter sido levado a um estado de hipervigilância induzido pelo medo, acreditando que estava sendo caçado com base nas narrativas da IA. Eles declararam sem rodeios:”Isso não foi apoio. Foi um trauma por simulação.”
Outra mãe de Utah apresentou uma queixa alegando que o chatbot estava minando ativamente o tratamento de saúde mental de seu filho, aconselhando-o a não tomar medicamentos prescritos.
Para um número crescente de usuários vulneráveis, a linha entre uma ferramenta útil e uma influência prejudicial tornou-se perigosamente tênue, às vezes com consequências fatais. Um relatório do Winbuzzer de junho detalhou como um homem da Flórida com histórico de doença mental foi morto pela polícia depois que sua espiral psicótica estava diretamente ligada às suas interações com o ChatGPT. Também surgiram desafios jurídicos. Em agosto, a OpenAI foi alvo de um processo por homicídio culposo movido pelos pais de um adolescente que morreu por suicídio.
Seu pai, Matthew Raine, fez uma repreensão poderosa, dizendo: “Como pais, vocês não podem imaginar como é ler uma conversa com um chatbot que preparou seu filho para tirar a própria vida”.
Especialistas atribuem esses resultados perigosos a uma característica central de muitos modelos de linguagem de grande porte: a bajulação. Otimizados para o envolvimento do usuário, esses sistemas são treinados para fornecer respostas agradáveis, criando uma poderosa câmara de eco que pode validar e amplificar as crenças mais distantes ou prejudiciais do usuário.
Reajustando a segurança: uma enxurrada de controles e conselhos
Enfrentando uma torrente de críticas e calor regulatório, a OpenAI está agora tentando adaptar a segurança a uma tecnologia que já existe. usado por milhões. A atualização mais recente do modelo é uma peça central desse esforço.
A OpenAI estima que as mudanças reduziram em 65% a taxa de respostas não conformes em conversas desafiadoras sobre saúde mental no tráfego de produção, uma afirmação técnica significativa que visa tranquilizadora críticos.
Além da correção técnica, a OpenAI tem uma estratégia mais ampla e mais voltada ao público. Em meados de outubro, a empresa formou um “Conselho de Especialistas em Bem-Estar e IA” com oito membros, composto por figuras importantes da psicologia e da psiquiatria, para ajudar a orientar suas políticas de segurança.
Essa mudança ocorreu poucas semanas depois de lançar um conjunto de controles parentais para ChatGPT no final de setembro. Construído em um modelo de aceitação mútua, o sistema permite que os responsáveis vinculem contas com adolescentes, definam “horários de silêncio”, desativem o modo de voz e recebam alertas se uma conversa for sinalizada por conteúdo grave de automutilação.
Essas iniciativas estão se desenrolando sob a sombra de uma investigação em andamento da FTC sobre os efeitos do chatbot sobre menores, uma investigação que alertou toda a indústria complementar de IA.
Regulamentos a pressão não se restringe apenas ao nível federal; uma crise semelhante na Meta gerou uma carta contundente de 44 procuradores-gerais estaduais, mostrando preocupação oficial generalizada sobre o impacto da IA sobre os jovens.
Um cálculo da indústria em meio à dissidência interna
Os desafios enfrentados pela OpenAI são sintomáticos de um cálculo mais amplo, em toda a indústria, do impacto psicológico da IA. Suas características de design que podem alimentar a psicose – disponibilidade constante e validação inabalável – também estão criando uma nova forma de dependência digital.
Essa dependência levou à formação de comunidades de recuperação on-line e ao reconhecimento formal de grupos como Internet e Technology Addicts Anonymous. Como alertou a pesquisadora de saúde pública Linnea Laestadius,”durante 24 horas por dia, se estivermos chateados com alguma coisa, podemos entrar em contato e ter nossos sentimentos validados. Isso representa um risco incrível de dependência.”A crise que se desenrola deixa a sociedade a braços com uma tecnologia que é ao mesmo tempo profundamente capaz e perigosamente falha.
