Die neue KI-Assistentin der US-amerikanischen Food and Drug Administration,”Elsa”, die im Juni eingeführt wurde, um die Zulassung von Drogen zu revolutionieren, findet stattdessen nicht existierende Studien und schafft mehr Arbeit für seine menschlichen Gutachter. Laut einem CNN-Bericht vom 23. Juli ist das Tool für kritische Aufgaben unzuverlässig. Es zeigt die ernsthaften Risiken des Einsatzes unbewiesener Technologie in hochwertigen Regierungsrollen. HHS-Sekretär Robert F. Kennedy Jr. erklärte:”Die AI-Revolution ist angekommen.”Doch hinter den Kulissen teilten FDA-Mitarbeiter CNN mit, dass ELSA die Forschung falsch darstellt und ständige Wachsamkeit erfordert, was ihren Zweck untergräbt. Dr. Marty Makary, der von Halluzinationen
FDA-Kommissarin, geplagt wurde, hat die internen Bedenken heruntergespielt und Reportern mitteilt:”Ich habe diese spezifischen Bedenken nicht gehört, aber es ist optional. Sie müssen ELSA nicht verwenden, wenn sie keinen Wert haben.”Diese Position bezeichnet jedoch das Kernproblem der Zuverlässigkeit für ein Tool, das zur Steigerung der Effizienz und der Beschleunigung kritischer Bewertungen eingeführt wurde. In der Agentur ist weitaus alarmierender. Ein Mitarbeiter beschrieb das Tool als unzuverlässig für jede Aufgabe, die nicht doppelt überprüft werden kann, und erklärte, dass es „halluziniert“. Ein anderer beklagte die neue Belastung und sagte: „Ich verschwende viel mehr Zeit aufgrund der erhöhten Wachsamkeit, die ich haben muss.“
Diese zusätzliche Arbeit beruht auf Elsas grundlegenden Einschränkungen. Die Mitarbeiter stellten fest, dass es nicht auf viele relevante Dokumente zugreifen kann, z. Bei der Prüfung mit grundlegenden Fragen kehrte es falsche Antworten zurück. Dieses Phänomen, bei dem eine KI selbstbewusste, aber völlig falsche Informationen erzeugt, ist der zentrale Fehler, der die aktuelle Generation von Modellen plagt. Selbst die fortschrittlichsten kommerziellen Modelle leiden darunter. OpenAI enthüllte beispielsweise in seinen eigenen Sicherheitsdaten, dass seine neueren O3-und O4-Mini-Modelle Informationen für einige Benchmarks paradoxerweise mit einer höheren Rate herstellen als ihre Vorgänger. Dies wird verschärft, wenn ein Modell auf seine eigene vorherige Argumentation nicht zugreifen kann, was es dazu zwingt, ausgefeilte Ausreden zu fördern, wenn sie zu seinem Prozess befragt wird. Dr. Jonathan Chen, ein Professor der Stanford University, beschrieb die Situation unverblümt und warnte:”Es ist im Moment wirklich der wilde Westen. Die Technologie bewegt sich so schnell, dass es schwierig ist, genau zu verstehen, was es ist.”
Ein Muster von High-Stakes-Fehlern in der Branche
Die Probleme der FDA sind kein isolierter Vorfall. Im Mai 2025 musste sich das Rechtsteam der KI-Firma Anthropic entschuldigen, nachdem seine Claude AI ein rechtliches Zitat für eine Urheberrechtsklage erfunden hatte. Der Richter in dem Fall bemerkte die „Welt des Unterschieds zwischen einem von AI erzeugten Halluzination“. Ein Fehler in der KI von Google Mail hat fälschlicherweise deutsche E-Mails übersetzt, was zu einer signifikanten Manipulation von Inhalten führte. Wie ein Analyst aus Sauce Labs nach dem Cursor-Vorfall feststellte, ist „die Benutzer wissen, dass diese Reaktion durch AI generiert wurde. Dies ist wahrscheinlich eine unzureichende Maßnahme, um die Benutzerloyalität zu wiedererlangen.“
Dieses Gefühl legt nahe, dass die Branche langsam lernt, dass einfache Haftungsausschlüsse und die vollständigen Abhilfemaßnahmen zwischen den Problemen der Leglustung und der Aufdringung von Vertrauensgängen und der Aufgabe des Unverleuselungsvertrauens. Rhetorik und Realität
Diese Reihe hochkarätiger Fehler zwingt eine breitere Neukalibrierung der Branche. Eine Studie der Call Center AI ergab, dass sie häufig mehr Arbeit für menschliche Agenten geschaffen hat. Analyst firm Gartner also reversed a key forecast, now predicting half von Organisationen werden Pläne aufgeben, das Personal des menschlichen Supports durch AI zu ersetzen. Diese pragmatische Verschiebung erkennt die aktuellen Einschränkungen der Technologie an und spiegelt ein wachsendes Verständnis wider, dass die Kosten für KI-Fehler die Vorteile der Automatisierung überwiegen können. Dieser Vorstoß für schnelle, ungeprüfte Innovationsstöße mit der Realität der Unzuverlässigkeit der Technologie. Dr. Jonathan Chen, ein Professor der Stanford University, der KI in klinischen Umgebungen studiert, warnte:”Es ist im Moment wirklich der wilde Westen. Die Technologie bewegt sich so schnell, dass es schwierig ist, genau zu verstehen, was es ist.”veröffentlichte eine Erklärung, in der die Herausforderungen der Verwendung generativer KI anerkannt wurden. Der ELSA-Vorfall dient jedoch als starke, öffentliche Warnung vor den Gefahren des vorzeitigen KI-Einsatzes in der Regierung.