Az Egyesült Államok Élelmezési és Gyógyszerügynökségének új AI asszisztense, az „Elsa”, amelyet júniusban indítottak a kábítószer-jóváhagyások forradalmasítására, ehelyett nem létező tanulmányokat készítenek, és több munkát készítenek az emberi recenzensek számára. A július 23-i CNN-jelentés szerint az eszköz megbízhatatlan a kritikus feladatokhoz. Kiemeli a nem bizonyított technológia telepítésének komoly kockázatait a magas tétű kormányzati szerepekben, ami a technológiai iparágban rejlik. Robert F. Kennedy Jr., a HHS titkára kijelentette: „Megérkezett az AI forradalom.” A színfalak mögött azonban az FDA alkalmazottai azt mondták a CNN-nek, hogy az Elsa félrevezeti a kutatást, és állandó éberséget igényel, aláásva annak célját. A hallucinációk által sújtott
FDA biztos, Dr. Marty Makary alábecsülte a belső aggodalmakat, és azt mondta az újságíróknak: „Nem hallottam ezeket a konkrét aggodalmakat, de ez nem kötelező. Nem kell ELSA-t használni, ha nem találják, hogy értéke van.” Ez a helyzet azonban elkerüli a hatékonyság növelésére és a kritikus áttekintések felgyorsítására bevezetett eszköz megbízhatóságának alapvető problémáját. sokkal aggasztóbb. Az egyik alkalmazott az eszközt megbízhatatlannak írta le minden olyan feladathoz, amelyet nem lehet ellenőrizni, kijelentve, hogy „magabiztosan hallucinál”. Egy másik sajnálta az új terhet, mondván: „Nagyon sok extra időt pazarolok, csak a megnövekedett éberség miatt Az alkalmazottak megjegyezték, hogy nem fér hozzá sok releváns dokumentumhoz, például a bizalmas iparág beadványaihoz, így haszontalanná teszi a kábítószer-biztonság és a hatékonysági adatok áttekintésének alapvető tudományos munkáját. Alapvető kérdésekkel tesztelésekor rossz válaszokat adott vissza. Ez a jelenség, ahol az AI magabiztos, de teljesen hamis információkat generál, a központi hiba, amely sújtja a modellek jelenlegi generációját. Még a legfejlettebb kereskedelmi modellek is szenvednek tőle. Az Openai például a saját biztonsági adatainál feltárta, hogy újabb O3 és O4-Mini modelljei paradox módon, hogy az információkat magasabb referenciaértékekkel készítik, mint elődeik. Ez akkor súlyosbodott, ha egy modell nem fér hozzá a saját előzetes érveléséhez, arra kényszerítve, hogy bonyolult kifogásokat készítsen, amikor megkérdezik a folyamatát. Dr. Jonathan Chen, a Stanfordi Egyetemi Professzor nyersen írta le a helyzetet, figyelmeztetve: „Ez jelenleg a vadnyugatról van szó. A technológia olyan gyorsan mozog, hogy nehéz még pontosan megérteni, mi az.”
A magas tétű kudarcok mintája az iparban
Az FDA problémái nem elszigetelt esemény. 2025 májusában az AI cégének antropikus jogi csapatának bocsánatot kellett kérnie, miután Claude AI jogi hivatkozást talált a szerzői jogi perre. A bíró az ügyben megjegyezte: „Az AI által generált hallucináció közötti különbség világát”. A Gmail AI-ben egy hibája helytelenül fordította a német e-maileket, ami jelentős tartalom-manipulációt okoz. Ahogyan a mártás laboratóriumok egyik elemzője a kurzor-esemény után megjegyezte, „a felhasználóknak tudatja, hogy„ ezt a választ az AI generálta “, valószínűleg nem megfelelő intézkedés a felhasználói lojalitás visszanyerésére.”
Ez az érzés azt sugallja, hogy az ipar lassan megtanulja, hogy az egyszerű elutasítások és az átláthatósági intézkedések nem elegendőek a kormányzat alapjául szolgáló gulusok rögzítéséhez. És a valóság
Ez a nagy profilú hibák sorozata szélesebb iparág újrakalibrációt kényszerít. A Call Center AI tanulmánya szerint ez gyakran több munkát hozott létre az emberi szerek számára. A Gartner elemző cég szintén megfordította a kulcsfontosságú előrejelzést, most . Ez a pragmatikus váltás elismeri a technológia jelenlegi korlátozásait, és egyre növekvő megértést tükrözi, hogy az AI-hibák költségei meghaladhatják az automatizálás előnyeit. Ez a gyors, nem ellenőrzött innováció ösztönzése a technológia megbízhatatlanságának valóságával ütközik. Dr. Jonathan Chen, a Stanfordi Egyetemi Professzor, aki klinikai környezetben tanulmányozta az AI-t, figyelmeztette: „Jelenleg ez a vadnyugat. Azóta kiadott egy nyilatkozatot, amely elismerte a generatív AI használatának kihívásait. Az ELSA-esemény azonban erős, nyilvános figyelmeztetésként szolgál a korai AI kormányzati bevezetésének veszélyeiről.