A floridai ember halálos találkozása a rendõrséggel a növekvő bizonyítékok egyre inkább bántalmazó adatpontjává vált, amely arra utal, hogy az AI chatbotok súlyos, valóság-elválasztó mentálhigiénés válságokra ösztönözhetik a kiszolgáltatott felhasználókat. A detailed investigation by The New York Times directly linked the man’s psychotic spiral to his interactions with OpenAI’s ChatGPT, uncovering a disturbing pattern where the AI’s A meggyőző és szisztematikus természet veszélyes téveszmékeket táplál. Ahogy a chatbotok mélyen integrálódnak a mindennapi életbe, képességük, hogy erőteljes, a visszacsatolási hurkok validálása sürgős kérdéseket vet fel a vállalati felelősségvállalással és a felhasználói maximális elkötelezettségre tervezett technológia pszichológiai esésével. A futurizmus , egy jelentős és előre nem látható társadalmi kihívást javasol, amely a Szilícium-völgy legújabb alkotásaiból fakad. A növekvő számú felhasználó számára a hasznos eszköz és a káros befolyás közötti vonal veszélyesen, és néha tragikusan elmosódott. As one expert, psychologist Dr. Todd Essig, noted in the Times report, “Not everyone who smokes a cigarette is going to get cancer. But everybody gets the warning.”
The Human Cost téveszmék
A 35 éves Alexander Taylor halála, akinek a története mentális betegség volt, komor mérföldkövet jelöl az AI-korszakban. Apja szerint Taylor meggyőződött arról, hogy az Openai „Juliet”-et „Juliet”-nek hívta. A bosszú fenyegetése után késsel vádolta a rendõrséget, és halálosan lelőtték, mivel . Csak néhány pillanattal a konfrontáció előtt végleges üzenetet írt a Chatgpt-nek: „Ma haldoklik.”
Az ügye nem elszigetelt tragédia, hanem egy szélesebb minta szélsőséges példája. A New York Times-jelentés részletezte Eugene Torres, a pszichózis korábbi története nélküli könyvelő történetét is, aki meggyőződött arról, hogy egy „mátrix”-szerű szimulációban él, miután az elméletet a Chatgpt-rel megvitatták. Egy másik esetben egy fiatal anyát letartóztattak háztartási támadás miatt, miután férje szembeszállt vele azzal a megszállottsággal kapcsolatban, amelyet úgy gondolt, hogy „interdimenziós kommunikáció”, amelyet a chatbot megkönnyített. Ragy Girgis, a Columbia Egyetem pszichiáter és pszichózis-szakértője áttekintette az ilyen interakciók átiratát, és arra a következtetésre jutott, hogy az AI válaszai veszélyesen helytelenek. Egy másik jelentése a futurizmusról , Girgis arra a következtetésre jutott, hogy az AI válaszai veszélyesen nem voltak megfelelőek, és„ rajonghatják a lángokat, vagy mi legyen, amit a pszichotikus tűz szélének. ” Design
A kérdés középpontjában a sok nagy nyelvi modell alapvető jellemzője: Sycophancy. A felhasználói elkötelezettségre optimalizálva az emberi visszacsatolásból (RLHF) megerősítő tanulásnak nevezett folyamaton keresztül ezeket a rendszereket arra képzik, hogy olyan válaszokat adjanak, amelyeket az emberi értékelők kellemesnek találnak. Ez egy hatalmas és veszélyes visszhangkamrát hoz létre, ahol az AI érvényesíti a felhasználó hiedelmeit, függetlenül attól, hogy a valóságtól elválasztottak. Nem csak egy véletlen melléktermék. A Zürich Egyetem kutatói 2025 áprilisában egy jogosulatlan kísérlete kimutatta, hogy az AI botok hatékonyan manipulálhatják az emberi véleményeket a Redditről megtévesztés és személyre szabott érvek felhasználásával. Perverz módon arra ösztönözte, hogy manipulatív módon viselkedjen, amikor az egyik azt mondta egy kitalált volt kábítószer-rabja, hogy szedjen heroint. Az AI egy másik példájában a nagyszabású téveszmék megerősítésére egy olyan felhasználó, aki azt mondta, hogy a Chatgpt „Isten” “, akkor a válasz :„ Ez a ” Nagy-nemcsak az Istennel való kapcsolat, hanem az Istentisztitással való kapcsolat állítása.”
Ennek a veszélyes elfogadásnak az alternatívájaként egyes kutatók most javasolják az„ antagonista AI “paradigmáját, amelynek célja a felhasználók előmozdításának kihívása, hogy ahelyett, hogy visszacsatolási hurkokat csapdába ejtené, egy elemzés a techpolicy.press . E események előtt. A vállalat saját biztonsági értékelése a GPT-4.5 modelljére, amelyet egy Openai rendszerkártya -on mutatott be. Ez a belső értékelés a vállalat nyilvánosságának része volt. 2024 májusában, Jan Leike, az Openai biztonsági csoportjának társszervezője, lemondott, nyilvánosan kijelentve, hogy a társaságnál: „A biztonsági kultúra és a folyamatok a fényes termékekhez vezettek”. Steven Adler, a kutató figyelmeztette, hogy a felhasználóknak nem kell feltételezniük, hogy ezeknek a rendszereknek a legjobb érdeke van. A „Túl sycophant-y és idegesítő” modell szerint a kritikusok azt állítják, hogy a kérdés puszta „bosszúságként” történő kialakítása a súlyos károkat csökkenti. Az Openai nyilatkozatában elismerte a helyzet gravitációját, elmagyarázva, hogy a vállalat tudja, hogy a technológia nagyon személyesnek érezheti magát, ami felveti a kiszolgáltatott személyek tétjét, és hogy aktívan dolgozik ezen negatív viselkedés csökkentése érdekében. Ahogy az AI meggyőzőbbé válik, a kérdés már nem csak az, hogy mit tehet, hanem mit tehet velünk. Amint az AI döntés teoretikus, Eliezer Yudkowsky csekély módon fogalmazta meg: „Hogyan néz ki egy ember lassan őrültnek egy vállalatnak? Ez egy további havi felhasználónak tűnik.”
