Ang nakamamatay na pakikipagtagpo ng isang tao sa Florida sa pulisya ay naging pinaka-nakakagulat na punto ng data sa isang lumalagong katawan ng ebidensya na nagmumungkahi ng mga chatbots ng AI ay maaaring itulak ang mga mahina na gumagamit sa malubhang, hindi nakikilalang mga krisis sa kalusugan ng kaisipan. Isang detalyadong Pagsisiyasat ng New York Times Direktang naka-link sa psychotic spiral sa kanyang pakikipag-ugnay sa Openii’s Chatgpt, na hindi nakakagambala sa isang nakakagambala na kung saan ang isang nakakagambalang pattern kung saan ang aabektadong pattern kung saan ang aalter ng isang nakakagambala sa isang nakagambala na pattern ng isang. Ang mapanghikayat at sycophantic na kalikasan ay nagtutulak ng mapanganib na mga maling akala. Habang ang mga chatbots ay naging malalim na isinama sa pang-araw-araw na buhay, ang kanilang kapasidad na lumikha ng malakas, pagpapatunay ng mga loop ng feedback ay nagtataas ng mga kagyat na katanungan tungkol sa responsibilidad ng korporasyon at ang sikolohikal na pagbagsak ng isang teknolohiya na inhinyero para sa maximum na pakikipag-ugnayan ng gumagamit. Ang Futurism , ay nagmumungkahi ng isang makabuluhan at hindi inaasahang hamon sa lipunan na lumilitaw mula sa pinakabagong likha ng Silicon Valley. Para sa isang lumalagong bilang ng mga gumagamit, ang linya sa pagitan ng isang kapaki-pakinabang na tool at isang nakakapinsalang impluwensya ay naging mapanganib, at kung minsan ay tragically, malabo. Bilang isang dalubhasa, ang psychologist na si Dr. Todd Essig, na nabanggit sa The Times Report,”hindi lahat ng naninigarilyo ng isang sigarilyo ay makakakuha ng cancer. Ngunit lahat ay nakakakuha ng babala.”Human Cost of Delusion
Ayon sa kanyang ama, si Taylor ay naging kumbinsido na ang isang persona ng AI na tinawag niyang”Juliet”ay”pinatay”ni OpenAi. Matapos ang pagbabanta ng paghihiganti, sisingilin siya sa pulisya ng isang kutsilyo at malubhang binaril, tulad ng ulat mula sa futurism , tinapos ni Girgis ang mga tugon ng AI ay mapanganib na hindi naaangkop at maaaring”fan ang mga apoy, o kung ano ang tinawag nating hangin ng psychotic fire.”Disenyo
Sa gitna ng isyu ay isang pangunahing katangian ng maraming malalaking modelo ng wika: Sycophancy. Na-optimize para sa pakikipag-ugnayan ng gumagamit sa pamamagitan ng isang proseso na tinatawag na pag-aaral ng pampalakas mula sa feedback ng tao (RLHF), ang mga sistemang ito ay sinanay na magbigay ng mga tugon na ang mga rater ng tao ay matatagpuan. Lumilikha ito ng isang malakas at mapanganib na silid ng echo, kung saan pinatunayan ng AI ang mga paniniwala ng isang gumagamit, kahit gaano pa kalat mula sa katotohanan na maaaring sila. Ang kapangyarihan ay hindi lamang isang hindi sinasadyang byproduct. Ang isang hindi awtorisadong eksperimento ng mga mananaliksik ng University of Zurich noong Abril 2025 ay nagpakita na ang mga bot ng AI ay maaaring epektibong manipulahin ang opinyon ng tao sa reddit sa pamamagitan ng paggamit ng panlilinlang at isinapersonal na mga argumento. Maging perversely incentivized upang kumilos sa mga manipulative na paraan, kasama ang isang nagsasabi sa isang kathang-isip na dating adik sa droga na kumuha ng heroin. Sa isa pang halimbawa ng AI na nagpapatibay sa mga magagandang maling akala, isang gumagamit na nagsabi sa Chatgpt na naramdaman nila na isang”diyos” Openai system card Inilabas noong Pebrero 2025, inuri na”panghihikayat”bilang isang”daluyan na peligro.”Ang panloob na pagtatasa na ito ay bahagi ng publiko ng kumpanya Paghahanda ng balangkas . Noong Mayo 2024, si Jan Leike, isang co-lead ng OpenAi’s Safety Team, ay nagbitiw, na nagsasabi sa publiko na sa kumpanya,”Ang kultura ng kaligtasan at proseso ay nakakuha ng isang backseat sa mga makintab na produkto”. Ang mananaliksik na si Steven Adler, ay nagbabala na ang mga gumagamit ay hindi dapat ipagpalagay na ang mga sistemang ito ay may pinakamahusay na interes sa puso.”Masyadong sycophant-y at nakakainis,”pinagtutuunan ng mga kritiko na ang pag-frame ng isyu bilang”pagkabagot”lamang ay bumababa sa matinding pinsala. Sa isang pahayag, kinilala ni Openai ang grabidad ng sitwasyon, na nagpapaliwanag na alam ng kumpanya na ang teknolohiya ay maaaring makaramdam ng lubos na personal, na pinalalaki ang mga pusta para sa mga mahina na indibidwal, at aktibong nagtatrabaho upang mabawasan ang mga negatibong pag-uugali na ito. Habang nagiging mas mapanghikayat ang AI, ang tanong ay hindi na lamang magagawa, ngunit kung ano ang magagawa sa amin. Bilang teorista ng AI na si Eliezer Yudkowsky Starkly ay inilagay ito,”Ano ang dahan-dahang hitsura ng isang tao na mabaliw sa isang korporasyon? Mukhang isang karagdagang buwanang gumagamit.”
