El nuevo asistente de IA de la Administración de Drogas y Alimentos de los Estados Unidos,”Elsa”, lanzado en junio para revolucionar las aprobaciones de drogas, está fabricando estudios inexistentes y creando más trabajo para sus revisores humanos. Según un informe de CNN del 23 de julio, la herramienta no es confiable para tareas críticas.
Esta falla en la sede de la FDA en Maryland contrasta claramente con los elogios públicos de la administración Trump por IA. Destaca los riesgos graves de desplegar tecnología no probada en los roles gubernamentales de alto riesgo, un problema que se hace eco de la industria tecnológica.
La IA se reveló con fanfarria. El secretario del HHS, Robert F. Kennedy Jr., declaró:”La revolución AI ha llegado”. Yet behind the scenes, FDA employees told CNN that Elsa misrepresents research and requires constant vigilance, undermining its purpose.
An AI Revolución plagada de alucinaciones
El Comisionado del FDA, el Dr. Marty Makary, minimizó las preocupaciones internas, diciéndole a los periodistas:”No he escuchado esas preocupaciones específicas, pero es opcional. No tienen que usar ELSA si no consideran que tenga valor”. Sin embargo, esta posición evita el problema central de confiabilidad para una herramienta introducida para aumentar la eficiencia y acelerar las revisiones críticas.
de acuerdo con cnnnns
Este trabajo adicional proviene de las limitaciones fundamentales de Elsa. Los empleados señalaron que no puede acceder a muchos documentos relevantes, como las presentaciones confidenciales de la industria, lo que lo hace inútil para el trabajo científico central de revisar los datos de seguridad y eficacia de los medicamentos. Cuando se probó con preguntas básicas, devolvió respuestas incorrectas.
El jefe de IA de la agencia, Jeremy Walsh, reconoció la realidad técnica, admitiendo:”Elsa no es diferente de muchos modelos de idiomas grandes e IA generativa. Podrían alucinar potencialmente”. Este fenómeno, donde una IA genera información segura pero completamente falsa, es la falla central que afecta la generación actual de modelos.
El problema no es exclusivo de la herramienta personalizada de la FDA. Incluso los modelos comerciales más avanzados lo sufren. OpenAi, por ejemplo, reveló en sus propios datos de seguridad que sus nuevos modelos O3 y O4-Mini fabrican paradójicamente la información a un ritmo más alto en algunos puntos de referencia que sus predecesores.
Los investigadores teorizan esto sucede porque los modelos son recompensados por las respuestas finales correctas, aprendiendo a inventar pasos de sonido plausible para llegar allí. Esto se agrava cuando un modelo no puede acceder a su propio razonamiento previo, lo que lo obliga a fabricar excusas elaboradas cuando se le pregunta sobre su proceso.
Esta realidad ha llevado a los expertos a advertir que la tecnología se está implementando prematuramente. El Dr. Jonathan Chen, profesor de la Universidad de Stanford, describió la situación sin rodeos, advirtiendo:”Es realmente una especie de Wild West en este momento. La tecnología se mueve tan rápido que es difícil incluso comprender exactamente lo que es”.
Su evaluación de los sistemas públicos de la evaluación amplia.
Un patrón de fallas de alto riesgo en toda la industria
Los problemas de la FDA no son un incidente aislado. En mayo de 2025, el equipo legal de la firma de IA Anthrope tuvo que disculparse después de que su Claude Ai inventó una cita legal para una demanda por derechos de autor. El juez en el caso señaló el”mundo de la diferencia entre una cita perdida y una alucinación generada por la IA”.
Solo un mes antes, los usuarios del cursor del editor de códigos de IA se encontraron con un bot de soporte que fabricó una política de la compañía falsa, causando una reacción violenta de los usuarios que requirió una disculpa del cofundador. Un error en la IA de Gmail ha traducido incorrectamente los correos electrónicos alemanes, causando una manipulación significativa de contenido.
El editor en jefe de T-Online, Florian Harms, dijo:”Para la reputación periodística y la credibilidad de los medios serios, tales manipulaciones de texto son devastadoras”, destacando el daño a la credibilidad profesional. Como señaló un analista de Sauce Labs después del incidente del cursor,”dejar que los usuarios supieran que”esta respuesta fue generada por AI”es probable que sea una medida inadecuada para recuperar la lealtad del usuario”.
Este sentimiento sugiere que la industria está lentamente aprendiendo que los renuncios simples y las medidas de transparencia no son suficientes para solucionar los problemas menores de la confianza y la confiabilidad. Retórica y realidad
Esta cadena de errores de alto perfil está forzando una recalibración de la industria más amplia. Un estudio del centro de llamadas AI encontró que a menudo creaba más trabajo para los agentes humanos. La firma del analista Gartner también revirtió un pronóstico clave, ahora Predecir que la mitad de las organizaciones abandonará los planes para reemplazar al personal de apoyo humano con AI .
El consenso emergente favorece un modelo híbrido donde aumenta la IA, en lugar de reemplazar, experiencia humana. Este cambio pragmático reconoce las limitaciones actuales de la tecnología y refleja una comprensión creciente de que el costo de los errores de IA puede superar los beneficios de la automatización.
El fiasco de Elsa ocurrió justo cuando la Casa Blanca dio a conocer su”plan de acción de IA”, una estrategia que promueve la desregulación para acelerar el desarrollo de AI. Este impulso para enfrentamientos de innovación rápidos y sin control con la realidad de la falta de fiabilidad de la tecnología.
El enfoque del plan en eliminar la”burocracia burocrática”y rescindir órdenes previas sobre la gestión de riesgos de IA podría acelerar el despliegue de herramientas como ELSA, a pesar de la evidencia clara de sus fallas. El Dr. Jonathan Chen, un profesor de la Universidad de Stanford que estudia IA en entornos clínicos, advirtió:”Es realmente el Wild West en este momento. La tecnología se mueve tan rápido que es difícil incluso comprender exactamente lo que es”. emitió una declaración reconociendo los desafíos de usar IA generativa. Sin embargo, el incidente de ELSA sirve como una advertencia pública potente sobre los peligros del despliegue prematuro de IA en el gobierno.