O novo assistente de IA da Food and Drug Administration dos EUA,”ELSA”, lançado em junho para revolucionar as aprovações de drogas, está fabricando estudos inexistentes e criando mais trabalho para seus revisores humanos. De acordo com um relatório da CNN em 23 de julho, a ferramenta não é confiável para tarefas críticas. Ele destaca os sérios riscos de implantar tecnologia não comprovada em papéis do governo de alto risco, um problema ecoando em toda a indústria de tecnologia.
A IA foi revelada com fanfarra. O secretário do HHS, Robert F. Kennedy Jr., declarou:”A revolução da IA chegou”. No entanto, nos bastidores, os funcionários da FDA disseram à CNN que a ELSA mal representa a pesquisa e requer vigilância constante, minando seu objetivo. Revolução atormentada por alucinações
O comissário da FDA, Dr. Marty Makary, subestimou as preocupações internas, dizendo aos repórteres:”Eu não ouvi essas preocupações específicas, mas é opcional. Eles não precisam usar o ELSA se não acharem ter valor”. Essa posição, no entanto, evita o problema central da confiabilidade para uma ferramenta introduzida para aumentar a eficiência e acelerar críticas críticas. Dentro da agência é muito mais alarmante. Um funcionário descreveu a ferramenta como não confiável para qualquer tarefa que não possa ser verificada duas vezes, declarando que”alucina com confiança”. Outro lamentou o novo fardo, dizendo: “Eu perco muito tempo extra apenas devido à vigilância que tenho que ter.”
Este trabalho extra decorre das limitações fundamentais de Elsa. Os funcionários observaram que não pode acessar muitos documentos relevantes, como envios confidenciais do setor, tornando-o inútil para o trabalho científico principal de revisar dados de segurança e eficácia de medicamentos. Quando testado com perguntas básicas, retornou respostas erradas. Esse fenômeno, onde uma IA gera informações confiantes, mas totalmente falsas, é a falha central que assola a geração atual de modelos.
O problema não é exclusivo da ferramenta personalizada do FDA. Até os modelos comerciais mais avançados sofrem com isso. O OpenAI, por exemplo, revelou em seus próprios dados de segurança que seus modelos O3 e O4-mini mais recentes fabricam paradoxalmente informações a uma taxa mais alta em alguns benchmarks do que seus antecessores. Isso é agravado quando um modelo não pode acessar seu próprio raciocínio anterior, forçando-o a fabricar desculpas elaboradas quando questionadas sobre seu processo.
Essa realidade levou especialistas a alertar que a tecnologia está sendo implantada prematuramente. Dr. Jonathan Chen, professor da Universidade de Stanford, descreveu a situação sem rodeios, advertindo:”É realmente um tipo de oeste selvagem agora. A tecnologia se move tão rápido, é difícil compreender exatamente o que é”
Sua avaliação sublinhando o valor de que não é possível usar a realidade da AI, e a realidade do uso da AI e a realidade do uso da AI e a realidade da unidade e a realidade do uso da AI e da realidade do uso da Ai e do uso do mundo e a realidade do uso do uso do governo.
Um padrão de falhas de alto risco em toda a indústria
Os problemas do FDA não são um incidente isolado. Em maio de 2025, a equipe jurídica da empresa de IA antrópica teve que se desculpar depois que sua IA Claude inventou uma citação legal para um processo de direitos autorais. O juiz no caso observou o “mundo da diferença entre uma citação perdida e uma alucinação gerada pela IA.”
Apenas um mês antes, os usuários do cursor do editor de código da IA receberam um bot de suporte que fabricou uma política falsa da empresa, causando um problema que exigia um pedido de desculpas público do público. Um bug na IA do Gmail traduzia incorretamente os e-mails alemães, causando manipulação significativa de conteúdo.
editor-chefe do T-Online Florian Harms disse: “Para a reputação jornalística e credibilidade de mídias graves, que essas manipulações de texto não são devastadoras:”Destacando os danos à credibilidade profissional. Como um analista de laboratórios de molho observado após o incidente do cursor,”informar aos usuários’essa resposta foi gerada por IA’provavelmente será uma medida inadequada para recuperar a lealdade do usuário.”
Esse sentimento sugere que a indústria está aprendendo lentamente que a simples isenção de isenção e a transparência não é suficiente para corrigir os problemas de confiança e confiabilidade. Realidade
Essa sequência de erros de alto perfil está forçando uma recalibração mais ampla da indústria. Um estudo da AI do call center descobriu que muitas vezes criou mais trabalho para agentes humanos. A empresa de analista Gartner também reverteu uma previsão importante, agora A previsão de metade das organizações abandonará os planos de substituir a equipe de suporte humano por IA . Essa mudança pragmática reconhece as limitações atuais da tecnologia e reflete um entendimento crescente de que o custo dos erros de IA pode superar os benefícios da automação. Esse esforço por inovação rápida e desmarcada se chocam com a realidade da não confiabilidade da tecnologia. O Dr. Jonathan Chen, professor da Universidade de Stanford que estuda IA em ambientes clínicos, alertou:”É realmente um tipo de oeste selvagem agora. A tecnologia se move tão rápido, é difícil até compreender exatamente o que é”
sua avaliação e uma imagem de uma imagem em que o progresso tecnológico possuía dramaticamente o desenvolvimento do desenvolvimento do desenvolvimento do desenvolvimento do desenvolvimento do desenvolvimento do desenvolvimento do desenvolvimento dramaticamente e do desenvolvimento do desenvolvimento dramaticamente do desenvolvimento dramaticamente. emitiu uma declaração reconhecendo os desafios do uso da IA generativa. No entanto, o incidente da ELSA serve como um potencial aviso público sobre os perigos da implantação prematura da IA no governo.