Nowy asystent AI w USA i leku, „Elsa”, rozpoczęty w czerwcu w celu zrewolucjonizowania zatwierdzeń leków, zamiast tego wytwarza nieistniejące badania i tworzy więcej pracy dla swoich recenzentów. Według raportu CNN z 23 lipca narzędzie to jest niewiarygodne dla zadań krytycznych.
Ta porażka w centrali Maryland FDA wyraźnie kontrastuje z publiczną pochwałą administracji Trumpa dla AI. Podkreśla poważne ryzyko wdrażania niesprawdzonych technologii w rolach rządowych o wysokich stawkach, problem echem w branży technologicznej.
AI została zaprezentowana z fanfarą. Sekretarz HHS Robert F. Kennedy Jr. oświadczył: „Przybyła rewolucja AI”. Jednak za kulisami pracownicy FDA powiedzieli CNN, że ELSA wprowadza w błąd badania i wymaga stałej czujności, podważając jej cel.
ai revolution. Nękany halucynacjami
Komisarz FDA, dr Marty Makary, zlekceważył wewnętrzne obawy, mówiąc dziennikarzom: „Nie słyszałem tych konkretnych obaw, ale jest to opcjonalne. Nie muszą używać Elsy, jeśli nie uznają tego za wartość”. Ta pozycja przynosi jednak podstawowy problem niezawodności dla narzędzia wprowadzonego w celu zwiększenia wydajności i przyspieszenia krytycznych recenzji.
Według
Ta dodatkowa praca wynika z podstawowych ograniczeń Elsy. Pracownicy zauważyli, że nie mogą uzyskać dostępu do wielu istotnych dokumentów, takich jak poufne zgłoszenia branżowe, co czyni go bezużytecznym dla podstawowej pracy naukowej w zakresie przeglądu danych bezpieczeństwa i skuteczności leków. Po przetestowaniu z podstawowymi pytaniami zwrócił złe odpowiedzi. Szef AI, Jeremy Walsh, przyznał rzeczywistość techniczną, przyznając: „Elsa nie różni się od wielu dużych modeli językowych i generatywnej sztucznej inteligencji. Mogą potencjalnie halucynacja”. Zjawisko to, w którym AI generuje pewność siebie, ale całkowicie fałszywe informacje, jest centralną wadą nękającą obecną generację modeli. Problem nie jest unikalny dla niestandardowego narzędzia FDA. Nawet najbardziej zaawansowane modele komercyjne cierpią na to. Na przykład Openai ujawnił we własnych danych bezpieczeństwa, że jego nowsze modele O3 i O4-Mini paradoksalnie wytwarzają informacje z wyższym tempem niektórych punktów odniesienia niż ich poprzednicy. Badacze teoretyzują to, ponieważ modele są nagradzane za prawidłowe końcowe odpowiedzi, ucząc się wymyślić, aby wymyślić możliwe do zdobycia kroków. Jest to spotęgowane, gdy model nie może uzyskać dostępu do własnego wcześniejszego rozumowania, zmuszając go do wytwarzania skomplikowanych wymówek, gdy zapytano go o jego proces. Ta rzeczywistość doprowadziła ekspertów do ostrzeżenia, że technologia jest przedwcześnie rozmieszczana. Dr Jonathan Chen, profesor Uniwersytetu Stanforda, opisał tę sytuację, ostrożnie: „To naprawdę rodzaj dzikiego zachodu. Technologia porusza się tak szybko, trudno jest nawet zrozumieć dokładnie to, co to jest.” Jego ocena podkreśla rozszerzającą Zatokę między obietnicą AI w rządzie a perwersyjną rzeczywistością. Kłopoty FDA nie są izolowanym incydentem. W maju 2025 r. Zespół prawny firmy AI Anthropic musiał przeprosić po tym, jak jej Claude AI wynalazł cytat prawny za pozew autorskimi. Sędzia w sprawie zauważył „świat różnicy między pominiętym cytatem a halucynacją generowaną przez AI.” Zaledwie miesiąc wcześniej użytkownicy edytora kodu AI spotkali się z botem wsparcia, który wytworzył fałszywą politykę firmy, powodując luz użytkownika, który wymagał przeprosin publicznych od współzałożyciela. Błąd w sztucznej inteligencji Gmaila nieprawidłowo tłumaczy niemieckie e-maile, powodując znaczącą manipulację treścią. Redaktor naczelny TLINE, Florian Harms, powiedział: „Te powtarzające się reputacja i wiarygodność poważnych mediów. As one analyst from Sauce Labs noted after the Cursor incident, “Letting users know ‘this response was generated by AI’ is likely to be an inadequate measure to recover user loyalty.” This sentiment suggests the industry is slowly learning that simple disclaimers and transparency measures are not enough to fix the underlying issues of trust and reliability. Ten ciąg głośnych błędów wymusza szerszą realibracja przemysłu. Studium Call Center AI wykazało, że często tworzyło więcej pracy dla ludzkich agentów. Firma analityka Gartner również odwróciła kluczową prognozę, teraz
Wzór niepowodzeń o wysokich stawkach w branży
The Widening Gulf Between Government Rhetoric and Rzeczywistość