U.S. Food and Drug Administration: s nya AI-assistent,”ELSA”, som lanserades i juni för att revolutionera läkemedelsgodkännanden, är istället tillverkning av icke-existerande studier och skapar mer arbete för sina mänskliga granskare. Enligt en CNN-rapport den 23 juli är verktyget opålitligt för kritiska uppgifter.
Detta misslyckande vid FDA: s Maryland-huvudkontor står starkt i kontrast till Trump-administrationens offentliga beröm för AI. Det belyser de allvarliga riskerna för att distribuera obevisad teknik i regeringsroller med höga insatser, ett problem som ekar över teknikindustrin.
AI presenterades med fanfare. HHS-sekreterare Robert F. Kennedy Jr. förklarade:”AI-revolutionen har kommit.”Ändå bakom kulisserna berättade FDA-anställda till CNN att Elsa felaktigt föreställer forskning och kräver ständig vaksamhet och undergräver dess syfte.
Detta extra arbete härrör från Elsas grundläggande begränsningar. Personal noterade att det inte kan få tillgång till många relevanta dokument, som konfidentiella industrins inlägg, vilket gör det värdelöst för det vetenskapliga vetenskapliga arbetet med att granska läkemedelssäkerhets-och effektivitetsdata. När den testades med grundläggande frågor returnerade det fel svar.
Byråns eget chef för AI, Jeremy Walsh, erkände den tekniska verkligheten och medgav,”Elsa skiljer sig inte från massor av stora språkmodeller och generativ AI. De kunde potentiellt hallucinera.”Detta fenomen, där en AI genererar säker men helt falsk information, är den centrala bristen som plågar den nuvarande generationen av modeller.
Problemet är inte unikt för FDA: s anpassade verktyg. Även de mest avancerade kommersiella modellerna lider av det. OpenAI, till exempel, avslöjade i sina egna säkerhetsdata att dess nyare O3-och O4-mini-modeller paradoxalt tillverkar information till en högre takt på vissa riktmärken än deras föregångare.
Forskare teoretiserar detta händer eftersom modeller belönas för korrekta slutliga svar, lär sig att uppfinna plausibla ljud för att komma dit. Detta förvärras när en modell inte kan komma åt sin egen tidigare resonemang, vilket tvingar den att tillverka utarbetade ursäkter när de ifrågasätts om sin process.
Denna verklighet har lett till att experter varnar för att tekniken distribueras för tidigt. Dr. Jonathan Chen, a Stanford University professor, described the situation bluntly, cautioning, “It’s really kind of the Wild West right now. The technology moves so fast, it’s hard to even comprehend exactly what it is.”
His assessment underscores the widening gulf between the promise of AI in government and the perilous reality of using unvetted, unreliable systems for decisions that impact public health.
Ett mönster av höga insatser i branschen
FDA: s problem är inte en isolerad incident. I maj 2025 var det juridiska teamet för AI Firm Anthropic tvungen att be om ursäkt efter att dess Claude AI uppfann en juridisk citering för en upphovsrätt. Domaren i fallet noterade “skillnaden mellan en missad citation och en hallucination som genererats av AI.”
Bara en månad tidigare, användes användare av AI-kodredigeraren. Ett fel i Gmails AI har felaktigt översatt tyska e-postmeddelanden, vilket orsakat betydande innehållsmanipulation.
t-onlines chefredaktör Florian Harms sa:”För det journalistiska rykte och trovärdighet för allvarliga medier har sådana textmanipulationer förödande,”framhävande skadan på professionell trovärdighet. Som en analytiker från Sauce Labs som noterats efter markörens incident,”att låta användare veta”Detta svar genererades av AI”är troligtvis en otillräcklig åtgärd för att återhämta användarlojaliteten.”
Detta känsla tyder på att branschen är långsamt att lära sig att enkla ansvarsfriskrivningar och transparensmått är inte tillräckligt för att fixa de underliggande problemen med förtroende och tillförlitlighet.
Regeringen mellan regeringen och det är inte tillräckligt för att fixa de underliggande problemen med förtroende och tillförlitlighet.
Helare och det är inte tillräckligt för att fixa de underliggande problemen. Verkligheten
Denna sträng av högprofilerade missförstånd tvingar en bredare branschkalibrering. En studie av callcenter AI fann att det ofta skapade mer arbete för mänskliga agenter. Analytikerföretaget Gartner vände också en nyckelprognos, nu .
Den nya konsensus gynnar en hybridmodell där AI förstärker, snarare än ersätter mänsklig expertis. Denna pragmatiska förändring erkänner teknikens nuvarande begränsningar och återspeglar en växande förståelse för att kostnaden för AI-fel kan uppväga fördelarna med automatisering.
Elsa-fiaskot inträffade precis som Vita huset avslöjade sin “AI-handlingsplan”, en strategi som främjar deregulation för att påskynda AI-utvecklingen. Denna drivkraft för snabb, okontrollerad innovation kolliderar med verkligheten i teknikens opålitlighet.
Planens fokus på att avskaffa”byråkratiska byråkrati”och återkalla tidigare beställningar på AI-riskhantering kan påskynda utplaceringen av verktyg som Elsa, trots att de är tydliga bevis på deras brister. Dr. Jonathan Chen, en professor i Stanford University som studerar AI i kliniska miljöer, varnade,”Det är verkligen slags vilda väst just nu. Tekniken rör sig så snabbt, det är svårt att ens förstå vad det är.”
hans bedömning smärtar en bild av ett område där teknologiska framsteg har dramatiskt överträffat utvecklingen av säkerhetsprotokoller och regulatorer. Ett uttalande som erkänner utmaningarna med att använda generativ AI. Emellertid fungerar ELSA-incidenten som en potent, offentlig varning om farorna för för tidig AI-utplacering i regeringen.
