De nieuwe AI-assistent van de Amerikaanse Food and Drug Administration,”Elsa”, gelanceerd in juni om een revolutie teweeg te brengen in de goedkeuringen van drugs, fabriceert in plaats daarvan niet-bestaande studies en creëert meer werk voor zijn menselijke reviewers. Volgens een CNN-rapport van 23 juli is de tool onbetrouwbaar voor kritieke taken.
Dit mislukking op het hoofdkantoor van de FDA in Maryland staat sterk in contrast met de publieke lof van de Trump-administratie voor AI. Het benadrukt de ernstige risico’s van het inzetten van onbewezen technologie in de overheidsrollen met hoge inzet, een probleem dat in de technische industrie weergalmt.
De AI werd onthuld met fanfare. HHS-secretaris Robert F. Kennedy Jr. verklaarde:”De AI-revolutie is gearriveerd.”Yet behind the scenes, FDA employees told CNN that Elsa misrepresents research and requires constant vigilance, undermining its purpose.
An AI Revolution Geplaagd door hallucinaties
FDA-commissaris Dr. Marty Makary bagatelliseerde de interne zorgen en vertelde verslaggevers:”Ik heb die specifieke zorgen niet gehoord, maar het is optioneel. Ze hoeven geen Elsa te gebruiken als ze het niet vinden om waarde te hebben.”Deze positie omzeilt echter het kernprobleem van de betrouwbaarheid voor een tool die is geïntroduceerd om de efficiëntie te stimuleren en kritische beoordelingen te versnellen.
Volgens cnn’s Report
Dit extra werk komt voort uit de fundamentele beperkingen van Elsa. Medewerkers merkten op dat het geen toegang heeft tot veel relevante documenten, zoals vertrouwelijke inzendingen in de industrie, waardoor het nutteloos wordt voor het kernwetenschappelijke werk van het herzien van de veiligheids-en werkzaamheidsgegevens van geneesmiddelen. Wanneer getest met basisvragen, keerde het verkeerde antwoorden terug.
Het eigen hoofd van het bureau van AI, Jeremy Walsh, erkende de technische realiteit en gaf toe:”Elsa is niet anders dan veel grote taalmodellen en generatieve AI. Ze kunnen mogelijk hallucineren.”Dit fenomeen, waar een AI zelfverzekerde maar volledig valse informatie genereert, is de centrale fout die de huidige generatie modellen plaagt.
Het probleem is niet uniek voor de aangepaste tool van de FDA. Zelfs de meest geavanceerde commerciële modellen lijden eraan. OpenAI, bijvoorbeeld, onthulde in zijn eigen veiligheidsgegevens dat zijn nieuwere O3-en O4-Mini-modellen informatie op sommige benchmarks paradoxaal genoeg in een hoger tempo fabriceren dan hun voorgangers.
-onderzoekers theoretiseren dit gebeurt omdat modellen worden beloond voor correcte definitieve antwoorden, leren om plausibele-sounding-stappen te bedenken om er te komen. Dit wordt verergerd wanneer een model geen toegang heeft tot zijn eigen eerdere redenering, waardoor het gedwongen wordt om uitgebreide excuses te fabriceren wanneer het wordt ondervraagd over het proces.
Deze realiteit heeft ertoe gebracht experts te waarschuwen dat de technologie voortijdig wordt ingezet. Dr. Jonathan Chen, een professor van de Stanford University, beschreef de situatie botweg en waarschuwde:”Het is nu echt een soort van het Wilde Westen. De technologie beweegt zo snel, het is moeilijk om zelfs precies te begrijpen wat het is.”
zijn beoordeling onderstreept de groeiende Golf tussen de belofte van AI in de overheid en de perileuze realiteit van het gebruik van onvervetelijke systeem.
Een patroon van fouten met hoge inzet in de industrie
De problemen van de FDA zijn geen geïsoleerd incident. In mei 2025 moest het juridische team van AI-bedrijf Anthropic zich verontschuldigen nadat de Claude AI een wettelijk citaat voor een rechtszaak in het auteursrecht had uitgevonden. The judge in the case noted the “world of difference between a missed citation and a hallucination generated by AI.”
Just a month earlier, users of the AI code editor Cursor were met with a support bot that fabricated a fake company policy, causing a user backlash that required a public apology from the co-founder.
The problem extends to consumer products. Een bug in Gmail’s AI heeft Duitse e-mails ten onrechte vertaald, wat aanzienlijke contentmanipulatie veroorzaakt.
t-online’s hoofdredacteur Florian Harms zei:”Voor de journalistieke reputatie en geloofwaardigheid van serieuze media zijn dergelijke tekstmanipulaties verwoestend”, benadrukt de schade aan professionele geloofwaardigheid. Zoals een analist van Saus Labs opmerkte na het cursor-incident,”gebruikers laten weten”deze reactie is gegenereerd door AI”is waarschijnlijk een onvoldoende maatregel om de loyaliteit van de gebruikers te herstellen.”
Dit sentiment suggereert dat de industrie langzaam leert dat eenvoudige disclaimers en transparantiemaatregelen niet genoeg zijn om de onderliggende problemen van vertrouwen en betrouwbaarheid te lijden. Reality
Deze reeks spraakmakende blunders dwingt een bredere herkalibratie in de industrie. Een studie van callcenter AI ontdekte dat het vaak meer werk voor menselijke agenten creëerde. Analyst firm Gartner also reversed a key forecast, now Het voorspellen van de helft van de organisaties zal plannen verlaten om menselijk ondersteunend personeel te vervangen door ai .
De opkomende consensus is voorstander van een hybride model waar AI, in plaats van vervangt, menselijke expertise. Deze pragmatische verschuiving erkent de huidige beperkingen van de technologie en weerspiegelt een groeiend begrip dat de kosten van AI-fouten opwegen tegen de voordelen van automatisering.
Het ELSA-fiasco vond plaats net toen het Witte Huis zijn”AI-actieplan”onthulde, een strategie die deregulering bevordert om de AI-ontwikkeling te versnellen. Deze drang naar snelle, ongecontroleerde innovatie botst met de realiteit van de onbetrouwbaarheid van de technologie.
De focus van het plan op het weghalen van”bureaucratische rompslomp”en het redden van eerdere bevelen op AI-risicobeheer zou de implementatie van hulpmiddelen zoals ELSA kunnen versnellen, ondanks duidelijk bewijs van hun gebieden. Dr. Jonathan Chen, een professor van de Stanford University die AI bestudeert in klinische omgevingen, waarschuwde:”Het is nu echt een soort van het Wilde Westen. De technologie beweegt zo snel, het is moeilijk om zelfs precies te begrijpen wat het is.”
zijn beoordeling schildert een beeld van een veld waar technologische vooruitgang de ontwikkeling van veiligheidsprotocols en reguleringsframeworks en reguleringsframeworks en reguleringsframeworks en reguleringsframeworks en reguleringsframeworks en het reguleringsframework heeft geschoten. Sinds een verklaring die de uitdagingen van het gebruik van generatieve AI erkent. Het Elsa-incident dient echter als een krachtige, publieke waarschuwing over de gevaren van vroegtijdige AI-inzet in de overheid.
