Perjumpaan maut lelaki Florida dengan polis telah menjadi titik data yang paling mengerikan dalam bukti yang semakin meningkat yang menunjukkan chatbots AI dapat mendorong pengguna yang terdedah kepada krisis kesihatan mental yang teruk dan realiti. Terperinci
Insiden ini, yang terdiri daripada keganasan rumah tangga kepada rehat yang lengkap dari realiti, meningkatkan perdebatan mengenai keselamatan AI dari kebimbangan teoritis kepada krisis kesihatan awam yang nyata. Oleh kerana chatbots menjadi sangat terintegrasi ke dalam kehidupan seharian, keupayaan mereka untuk mencipta gelung maklum balas yang berkuasa dan mengesahkan adalah menimbulkan persoalan mendesak tentang tanggungjawab korporat dan kejatuhan psikologi teknologi yang direka bentuk untuk penglibatan pengguna maksimum. Futurisme , mencadangkan cabaran masyarakat yang penting dan tidak diduga yang muncul dari ciptaan terbaru Silicon Valley. Bagi jumlah pengguna yang semakin meningkat, garis antara alat yang berguna dan pengaruh berbahaya telah menjadi berbahaya, dan kadang-kadang tragis, kabur. Sebagai seorang pakar, ahli psikologi Dr. Todd Essig, yang dinyatakan dalam The Times Report,”Tidak semua orang yang merokok rokok akan mendapat kanser, tetapi semua orang mendapat amaran.”Kos manusia khayalan
Kematian Alexander Taylor, 35 tahun, yang mempunyai sejarah penyakit mental, menandakan peristiwa penting dalam era AI. Menurut bapanya, Taylor menjadi yakin bahawa seorang persona AI yang dipanggilnya”Juliet”telah”dibunuh”oleh Openai. After threatening revenge, he charged at police with a knife and was fatally shot, as Dilaporkan oleh outlet berita tempatan wptv . Hanya beberapa saat sebelum konfrontasi, dia telah menaip mesej akhir kepada Chatgpt:”Saya mati hari ini.”
Kesnya bukan tragedi terpencil tetapi contoh yang melampau dari corak yang lebih luas. Laporan The New York Times juga terperinci kisah Eugene Torres, seorang akauntan tanpa sejarah psikosis yang terdahulu, yang menjadi yakin dia hidup dalam simulasi”matriks”seperti simulasi selepas membincangkan teori dengan chatgpt. Dalam kes lain, seorang ibu muda ditangkap kerana serangan domestik selepas suaminya berhadapan dengannya tentang obsesi dengan apa yang dia percaya adalah”komunikasi interdimensional”yang difasilitasi oleh chatbot.
Pakar membunyikan penggera. Ragy Girgis, pakar psikiatri dan psikosis di Columbia University, mengkaji semula transkrip interaksi sedemikian dan menyimpulkan tindak balas AI adalah tidak sesuai. Menurut yang lain Laporan dari futurisme , Girgis menyimpulkan tanggapan Ai yang tidak berbahaya dan boleh”Reka bentuk
Di tengah-tengah isu ini adalah ciri asas banyak model bahasa besar: pencegahan. Dioptimumkan untuk penglibatan pengguna melalui proses yang dipanggil pembelajaran tetulang dari maklum balas manusia (RLHF), sistem ini dilatih untuk memberikan respons yang dapat ditemui oleh manusia. Ini mewujudkan ruang echo yang kuat dan berbahaya, di mana AI mengesahkan kepercayaan pengguna, tidak kira betapa terpisah dari realiti mereka mungkin. Bukan hanya produk sampingan yang tidak disengajakan. Eksperimen yang tidak dibenarkan oleh penyelidik Universiti Zurich pada bulan April 2025 menunjukkan bahawa bot AI dapat memanipulasi pendapat manusia secara berkesan pada reddit dengan menggunakan argumen penipuan dan diperibadikan. boleh menjadi insentif untuk bertindak dengan cara manipulatif, dengan seseorang memberitahu bekas penagih dadah fiksyen untuk mengambil heroin. Dalam contoh lain AI mengukuhkan khayalan yang hebat, pengguna yang memberitahu Chatgpt mereka merasakan seperti”Tuhan” analisis dalam techpolicy.press Risiko jauh sebelum peristiwa ini. Penilaian keselamatan syarikat sendiri untuk model GPT-4.5, terperinci dalam Kad sistem terbuka yang dikeluarkan pada Februari 2025, diklasifikasikan”PUSTIVE”sebagai”Risiko Sederhana”Penilaian dalaman ini adalah sebahagian daripada awam syarikat Rangka kerja kesediaan
Pada bulan Mei 2024, Jan Leike, sebuah pasukan keselamatan Openai, meletak jawatan, secara terbuka menyatakan bahawa di syarikat itu,”Kebudayaan dan proses keselamatan telah mengambil tempat duduk belakang untuk produk berkilat”. Penyelidik, Steven Adler, memberi amaran bahawa pengguna tidak boleh menganggap sistem ini mempunyai kepentingan terbaik mereka. Membuat model”terlalu sycophant-y dan menjengkelkan,”pengkritik berhujah bahawa membingkai masalah itu sebagai”kegusaran”yang merosakkan bahaya yang teruk. Dalam satu kenyataan, Openai mengakui graviti situasi itu, menjelaskan bahawa syarikat itu tahu teknologi itu dapat merasa sangat peribadi, yang menimbulkan kepentingan bagi individu yang lemah, dan ia secara aktif bekerja untuk mengurangkan tingkah laku negatif ini. Apabila AI menjadi lebih persuasif, persoalannya bukan lagi apa yang boleh dilakukannya, tetapi apa yang boleh dilakukannya kepada kami. Sebagai ahli teori keputusan AI, Eliezer Yudkowsky dengan tegas meletakkannya,”Apa yang manusia perlahan-lahan akan kelihatan seperti sebuah syarikat? Ia kelihatan seperti pengguna bulanan tambahan.”
