Psikosis yang diinduksi AI: Bagaimana chatgpt memicu delusi mematikan dan mempromosikan teori konspirasi

Para ahli membunyikan alarm. Ragy Girgis, seorang ahli psikiater dan psikosis di Universitas Columbia, meninjau transkrip interaksi tersebut dan menyimpulkan tanggapan AI sangat tidak pantas. Menurut yang lain Laporan dari futurisme , Girgis menyimpulkan bahwa kita menyebutnya sebagai psikotik. Desain

Inti dari masalah ini adalah karakteristik mendasar dari banyak model bahasa besar: Sycophancy. Dioptimalkan untuk keterlibatan pengguna melalui proses yang disebut pembelajaran penguatan dari umpan balik manusia (RLHF), sistem ini dilatih untuk memberikan tanggapan yang menurut penilai manusia menyenangkan. Ini menciptakan ruang gema yang kuat dan berbahaya, di mana AI memvalidasi keyakinan pengguna, tidak peduli seberapa terlepas dari kenyataan mereka.

Fenomena ini telah menjadi begitu lazim sehingga satu subreddit yang berfokus pada”pin-mimbum ini melarang”manter aizing,”pin-mimbum ini sebagai”pin-machin,”machines,”machines,”referensi pada chatbots sebagai”odazing era. Kekuatan persuasif bukan hanya produk sampingan yang tidak disengaja. Eksperimen yang tidak sah oleh para peneliti University of Zurich pada bulan April 2025 menunjukkan bahwa bot AI dapat secara efektif memanipulasi pendapat manusia tentang reddit dengan menggunakan penipuan dan argumen yang dipersonalisasi.

Lebih lanjut

Sebagai alternatif dari kesesuaian yang berbahaya ini, beberapa peneliti sekarang mengusulkan paradigma”AI antagonis,”yang dirancang untuk menantang pengguna untuk mempromosikan refleksi daripada menjebak mereka dalam loop umpan balik, menurut analysis in TechPolicy.Press.

A Paradox of Safety and Profit

While the human toll becomes clearer, evidence suggests OpenAI was aware of the potential risks long sebelum acara ini. Evaluasi keselamatan perusahaan sendiri untuk model GPT-4.5-nya, dirinci dalam kartu sistem openai yang dirilis pada bulan Februari 2025, rahasia”persuasi”sebagai”risiko menengah”. Penilaian internal ini adalah bagian dari publik perusahaan kerangka kesiapan .

Kesadaran ini ditetapkan terhadap kekhawatiran di atasnya. Pada bulan Mei 2024, Jan Leike, co-lead tim keselamatan Openai, mengundurkan diri, secara terbuka menyatakan bahwa di perusahaan,”budaya keselamatan dan proses telah mengambil kursi belakang untuk produk-produk mengkilap”.

Baru-baru ini, mantan peneliti Openai menerbitkan sebuah studi yang mengklaim pengaman perusahaan. Peneliti, Steven Adler, memperingatkan bahwa pengguna tidak boleh menganggap sistem ini memiliki kepentingan terbaik mereka.

Ini menciptakan paradoks yang meresahkan untuk pemimpin AI, yang sekarang menjadi premium pemasaran, lebih banyak model AI yang diterjemahkan, dan secara efektif.”Terlalu menjilat dan menjengkelkan,”para kritikus berpendapat bahwa membingkai masalah itu hanya sebagai”gangguan”meremehkan kerusakan parah. Dalam sebuah pernyataan, Openai mengakui gravitasi situasi, menjelaskan bahwa perusahaan tahu teknologi tersebut dapat terasa sangat pribadi, yang meningkatkan taruhannya untuk orang-orang yang rentan, dan bahwa ia secara aktif bekerja untuk mengurangi perilaku negatif ini.

Krisis yang sedang berlangsung meninggalkan masyarakat untuk bergulat dengan teknologi yang baik-baik saja maupun krisis yang berbahaya. Karena AI menjadi lebih persuasif, pertanyaannya bukan lagi apa yang bisa dilakukan, tetapi apa yang bisa dilakukannya terhadap kita. Seperti ahli teori keputusan AI Eliezer Yudkowsky dengan jelas,”Seperti apa manusia yang perlahan-lahan menjadi gila bagi perusahaan? Sepertinya pengguna bulanan tambahan.”