Asisten AI baru Food and Drug Administration,”ELSA,”diluncurkan pada bulan Juni untuk merevolusi persetujuan obat, malah membuat studi yang tidak ada dan menciptakan lebih banyak pekerjaan untuk pengulas manusianya. Menurut laporan CNN 23 Juli, alat ini tidak dapat diandalkan untuk tugas-tugas penting.
Kegagalan ini di markas Maryland FDA yang sangat kontras dengan pujian publik administrasi Trump untuk AI. Ini menyoroti risiko serius dari menggunakan teknologi yang belum terbukti dalam peran pemerintah berisiko tinggi, masalah yang bergema di seluruh industri teknologi.
AI diluncurkan dengan fanfare. Sekretaris HHS Robert F. Kennedy Jr menyatakan, “Revolusi AI telah tiba.”Namun di balik layar, karyawan FDA mengatakan kepada CNN bahwa ELSA salah mengartikan penelitian dan membutuhkan kewaspadaan yang konstan, merusak tujuannya.
Pekerjaan tambahan ini berasal dari keterbatasan mendasar ELSA. Staf mencatat tidak dapat mengakses banyak dokumen yang relevan, seperti pengajuan industri rahasia, menjadikannya tidak berguna untuk pekerjaan ilmiah inti meninjau data keamanan dan kemanjuran obat. Ketika diuji dengan pertanyaan dasar, itu mengembalikan jawaban yang salah.
Kepala AI agensi sendiri, Jeremy Walsh, mengakui realitas teknis, mengakui,”ELSA tidak berbeda dengan banyak model bahasa besar dan AI generatif. Mereka berpotensi berhalusinasi.”Fenomena ini, di mana AI menghasilkan informasi yang percaya diri tetapi sepenuhnya salah, adalah cacat pusat yang mengganggu generasi model saat ini.
Masalahnya tidak unik untuk alat khusus FDA. Bahkan model komersial paling canggih menderita. Openai, misalnya, mengungkapkan dalam data keselamatannya sendiri bahwa model O3 dan O4-mini yang lebih baru membuat informasi secara paradoks pada tingkat yang lebih tinggi pada beberapa tolok ukur daripada pendahulunya.
Para peneliti berteori ini terjadi karena model dihargai untuk jawaban akhir yang benar, belajar untuk menciptakan langkah-langkah yang masuk akal untuk menuju ke sana. Ini diperparah ketika sebuah model tidak dapat mengakses alasannya sendiri sebelumnya, memaksanya untuk membuat alasan yang rumit ketika ditanya tentang prosesnya.
Kenyataan ini telah membuat para ahli memperingatkan bahwa teknologi tersebut dikerahkan sebelum waktunya. Dr. Jonathan Chen, seorang profesor Universitas Stanford, menggambarkan situasi dengan blak-blakan, memperingatkan, “Ini benar-benar jenis Wild West sekarang. Teknologi ini bergerak begitu cepat, sulit untuk memahami dengan tepat apa itu.”
Pola kegagalan taruhan tinggi di seluruh industri
Masalah FDA bukanlah insiden yang terisolasi. Pada bulan Mei 2025, tim hukum untuk perusahaan AI Anthropic harus meminta maaf setelah Claude AI menemukan kutipan hukum untuk gugatan hak cipta. Hakim dalam kasus ini mencatat”Dunia Perbedaan antara Kutipan yang Terlewatkan dan halusinasi yang dihasilkan oleh AI.”
Hanya sebulan sebelumnya, pengguna kursor editor kode AI disambut dengan bot dukungan yang membuat kebijakan perusahaan palsu, menyebabkan pembatasan pengguna yang membutuhkan permintaan maaf publik dari co-pendiri. Sebuah kutu di AI Gmail salah menerjemahkan email Jerman, menyebabkan manipulasi konten yang signifikan.
T-editor-in-chief Florian Harms mengatakan,”Untuk reputasi jurnalistik dan kredibilitas media yang serius. Teknologi ini mengulangi,”Kegagalan yang lebih besar,”menyoroti beberapa kerusakan pada kredibilitas profesional.
P> ini mengulangi kegagalan yang sangat buruk,”yang menyoroti kerusakan profesional. Seperti yang dicatat oleh seorang analis dari Saus Labs setelah insiden kursor, “Membiarkan Pengguna tahu‘ Respons ini dihasilkan oleh AI ’kemungkinan merupakan ukuran yang tidak memadai untuk memulihkan loyalitas pengguna.”
Sentimen ini menunjukkan bahwa industri ini secara perlahan-lahan mengetahui bahwa penafian dan transparansi yang kuat
Serangkaian kesalahan profil tinggi ini memaksa kalibrasi ulang industri yang lebih luas. Sebuah studi tentang Call Center AI menemukan itu sering menciptakan lebih banyak pekerjaan untuk agen manusia. Firma analis Gartner juga membalikkan perkiraan utama, sekarang Memprediksi setengah dari organisasi akan meninggalkan rencana untuk menggantikan staf pendukung manusia dengan AI .
Konsensus yang muncul mendukung model hibrida di mana AI augments, daripada menggantikan, keahlian manusia. Pergeseran pragmatis ini mengakui keterbatasan teknologi saat ini dan mencerminkan pemahaman yang berkembang bahwa biaya kesalahan AI dapat lebih besar daripada manfaat otomatisasi.
Kegagalan ELSA terjadi ketika Gedung Putih meluncurkan”Rencana Aksi AI,”sebuah strategi yang mempromosikan deregulasi untuk mempercepat pengembangan AI. Dorongan untuk inovasi yang cepat dan tidak terkendali bentrok dengan realitas dari teknologi yang tidak dapat diandalkan.
Fokus rencana pada pengupasan”birokrasi birokrasi”dan membatalkan perintah sebelumnya pada manajemen risiko AI dapat mempercepat penyebaran alat-alat yang tidak ada yang tidak ada yang jelas tentang kelemahan mereka.
p> p> p> p> pow-eperts TO EXPEROS TOPA TOPA TANPA PENUHAN TANPA PENULIAN MEREKSI MEREKSI MEREKNYA. Jonathan Chen, seorang profesor universitas Stanford yang mempelajari AI dalam pengaturan klinis, memperingatkan,”Ini benar-benar jenis Wild West sekarang. Teknologi ini bergerak begitu cepat, sulit untuk memahami dengan tepat apa itu.”mengeluarkan pernyataan yang mengakui tantangan menggunakan AI generatif. Namun, insiden ELSA berfungsi sebagai peringatan publik yang kuat tentang bahaya penyebaran AI prematur dalam pemerintahan.