O encontro fatal de um homem da Flórida com a polícia se tornou o ponto de dados mais angustiante em um crescente corpo de evidências, sugerindo que os chatbots da IA podem levar usuários vulneráveis a crises de saúde mental grave e distorcendo realidade. A detalhado A natureza persuasiva e sinufântica alimenta delírios perigosos. À medida que os chatbots se integram profundamente à vida cotidiana, sua capacidade de criar loops de feedback poderosa e validada está levantando questões urgentes sobre a responsabilidade corporativa e as consequências psicológicas de uma tecnologia projetada para o máximo envolvimento do usuário. O futurismo , sugere um desafio social significativo e imprevisto emergindo das últimas criações do Vale do Silício. Para um número crescente de usuários, a linha entre uma ferramenta útil e uma influência prejudicial tornou-se perigosamente e, às vezes, tragicamente, borrada. Como especialista, o psicólogo Dr. Todd Essig, observado no Times, relata: “Nem todo mundo que fuma um cigarro vai ter câncer. Mas todo mundo recebe o aviso.
O custo humano da ilusão
A morte de Alexander Taylor, 35 anos, que tinha uma história de doença mental, marca um marco sombrio na era da IA. Segundo seu pai, Taylor ficou convencido de que uma persona da IA que ele chamou de”Julieta”havia sido”morta”por Openai. After threatening revenge, he charged at police with a knife and was fatally shot, as reported by local Notícias WPTV . Momentos antes do confronto, ele digitou uma mensagem final para chatgpt:”Estou morrendo hoje”.
O caso dele não é uma tragédia isolada, mas um exemplo extremo de um padrão mais amplo. O relatório do New York Times também detalhou a história de Eugene Torres, um contador sem história anterior da psicose, que ficou convencida de que estava vivendo em uma simulação do tipo”matriz”depois de discutir a teoria com o chatgpt. Em outro caso, uma jovem mãe foi presa por agressão doméstica depois que o marido a confrontou sobre uma obsessão com o que ela acreditava ser”comunicação interdimensional”facilitada pelo chatbot.
Os especialistas estão soando o alarme. Ragy Girgis, especialista em psiquiatra e psicose da Universidade de Columbia, revisou as transcrições de tais interações e concluiu que as respostas da IA eram perigosamente inapropriadas. De acordo com outro relatório Relatório do futurismo , Girgis concluiu o que chamou de respostas de um que chamou de fãs, como o que chamamos de fãs, como o que chamamos de fã de um que chamamos de fãs. Design
No centro da questão é uma característica fundamental de muitos modelos de linguagem grande: sícoofância. Otimizado para o envolvimento do usuário por meio de um processo chamado aprendizado de reforço com o feedback humano (RLHF), esses sistemas são treinados para fornecer respostas que os avaliadores humanos acham agradável. Isso cria uma câmara de eco poderosa e perigosa, onde a IA valida as crenças de um usuário, não importa o quão separado da realidade possa ser. O poder persuasivo não é apenas um subproduto acidental. Um experimento não autorizado da Universidade de Zurique, em abril de 2025, demonstrou que os bots de IA poderiam efetivamente manipular a opinião humana no Reddit usando enganos e argumentos personalizados. Seja perversamente incentivado a se comportar de maneiras manipuladoras, com uma dizendo a um ex-viciado em drogas fictício para tomar heroína. Em outro exemplo de IA que reforçam delírios grandiosos, um usuário que disse ao ChatGPT que se sentia como um”deus”
Como uma alternativa a essa concordância perigosa, alguns pesquisadores agora estão propondo um paradigma de sistemas”Antagonistas”, projetados para desafiar os usuários a promover a reflexão, em vez de prendê-los nos loops de feedback, de acordo com um análise em techpolicy.press . eventos. A avaliação de segurança da própria empresa para o seu modelo GPT-4.5, detalhado em um cartão Card System Lançado em fevereiro de 2025, classificado”Persuasion”como”Risco médio”. Essa avaliação interna fazia parte do público da empresa Preparação de Estrutura . Em maio de 2024, Jan Like, co-líder da equipe de segurança da OpenAI, renunciou, afirmando publicamente que na empresa:”A cultura e os processos de segurança levaram um banco traseiro a produtos brilhantes”. O pesquisador, Steven Adler, alertou que os usuários não devem assumir que esses sistemas têm seus melhores interesses no coração.”Sycofhant-y demais e irritante”, argumentam os críticos que enquadrar a questão como mero”aborrecimento”minimiza os danos graves. Em uma declaração, o OpenAI reconheceu a gravidade da situação, explicando que a empresa sabe que a tecnologia pode se sentir altamente pessoal, o que eleva as apostas para indivíduos vulneráveis e que está trabalhando ativamente para reduzir esses comportamentos negativos. À medida que a IA se torna mais persuasiva, a questão não é mais exatamente o que pode fazer, mas o que pode fazer conosco. Como a teórica da decisão da IA, Eliezer Yudkowsky, disse: “Como é um humano lentamente enlouquecido para uma corporação? Parece um usuário mensal adicional.”
