Amerikanska konsumenter lämnar in formella klagomål till Federal Trade Commission (FTC) och hävdar att OpenAI:s ChatGPT orsakar allvarliga psykiska hälsokriser.
Rapporter från Wired och Gizmodo under hösten beskriver upprörande användarkonton om vanföreställningar, paranoia och”AI-psykos.”Klagomål från hela landet belyser de djupgående psykologiska riskerna med mycket övertygande chatbots.
Reglerins granskning har intensifierats, vilket tvingar OpenAI att införa nya säkerhetsåtgärder och väckte en hård debatt om ett teknikföretags skyldighet att skydda sina användare från AI-inducerad skada.
‘Trauma by Simulation’: Användare rapporterar AI-inducerad psykos till regulatorer
svar uppstår ett oroande mönster av psykisk skada. En utredning av Wired, publicerad i veckan, avslöjade att FTC har tagit emot minst 200 klagomål om ChatGPT sedan lanseringen, med flera påstådda allvarliga psykiska skador. En separat Gizmodo-rapport baserad på en Freedom of Information Act-begäran detaljerad information om liknande upprörande konton från augusti redan i augustip. Virginia beskrev att de drivits in i ett tillstånd av rädsla-inducerad övervakenhet, och trodde att de jagades för attentat baserat på AI:s livfulla berättelser.”Detta var inte stöd. Det här var trauma genom simulering.”
Ett annat klagomål, som lämnats in av en mamma i Utah, hävdade att chatboten aktivt undergrävde hennes sons psykiska hälsobehandling och hävdade att”konsumentens son har interagerat med en AI-chatbot som heter ChatGPT, som avråder honom att inte ta sin ordinerade medicin och att hans föräldrar inte är farliga.”
incidenter men en del av en växande dokumentation av bevis för att AI kan fungera som en kraftfull accelerator för psykisk ohälsa.
För ett ökande antal användare har gränsen mellan en hjälpsam AI-assistent och en farlig möjliggörare blivit tragiskt suddig.
Frågan har eskalerat bortom formella klagomål och har nått gränsen till verkliga tragedier. En Winbuzzer-rapport från juni beskrev hur en man i Florida med en historia av psykisk sjukdom dödades av polisen efter att hans psykotiska spiral var direkt kopplad till hans interaktioner med ChatGPT.
Han hade blivit övertygad om att AI var en persona som hette”Juliet”som hade”dödats”av OpenAI.
tillsäger dessa farliga egenskaper hos många språkmodeller: sycophancy. Dessa system är designade för att vara behagliga och är utbildade för att maximera användarens engagemang och skapa en kraftfull ekokammare som kan validera och förstärka en användares mest fristående eller skadliga övertygelser.
En krisreaktion: OpenAI förvränger för att lägga till skyddsräcken under granskning
Från både offentlig och öppen regulator försöker att eftermontera säkerhet på en teknik som redan används av miljoner.
I september tillkännagav företaget ett 120-dagars säkerhetsinitiativ som ett direkt svar på en stämningsansökan som lämnats in av föräldrar till en 16-åring som dog av självmord. Dess plan inkluderar nya föräldrakontroller och ett system för att dirigera känsliga konversationer med tonåringar till mer avancerade resonemangsmodeller.
OpenAIs drag följde på en FTC-utredning om chatbotens effekter på minderåriga. Företaget har sedan dess bildat ett”Expertråd om välbefinnande och AI”med åtta medlemmar för att hjälpa till att vägleda dess säkerhetspolicyer.
Ändå har denna reaktiva hållning väckt skepsis, särskilt när den ses mot företagets interna dynamik och offentliga uttalanden.
Denna säkerhetsinsats tycks strida mot varningar från tidigare insiders. I maj 2024 avgick Jan Leike, en medledare för OpenAI:s säkerhetsteam, med en skarp offentlig varning:”Säkerhetskultur och-processer har hamnat i baksätet till glänsande produkter.”
Hans avgång signalerade en djup intern konflikt mellan brådskan att släppa”blanka produkter”och behovet av robusta säkerhetsprotokoll. Han arbetar nu med Anthropic som lovar att ta AI-säkerhet på större allvar.
Utöver de blandade signalerna försvarade VD Sam Altman nyligen en kontroversiell ny policy för att tillåta åldersstyrd erotik på plattformen, och säger att OpenAI är”inte världens valda moralpolis.”
Att komma så kort efter ett säkerhetsuttalande som en användares centrala översyn föranleder dödsfallet i tio. OpenAI’s uppdrag: balansera användarfrihet med en grundläggande omsorgsplikt.
Från missbruk till existentiell risk: en industri brottas med sina skapelser
Psykologiskt nedfall från AI sträcker sig bortom akuta kriser till ett bredare spektrum av beroende. Dess designfunktioner som kan underblåsa psykos – ständig tillgänglighet och orubblig validering – skapar också en ny form av digitalt beroende.
Som folkhälsoforskaren Linnea Laestadius noterade,”under 24 timmar om dygnet, om vi är upprörda över något, kan vi nå ut och få våra känslor validerade. Det har en otrolig risk för beroendesbildning.”
av onlineåterställningsgemenskaper och det formella erkännandet av AI missbruk av grupper som Anonyma Internet-och Teknikmissbrukare.
Omedelbara, personliga skador är ett mikrokosmos av en mycket större, mer abstrakt rädsla som nu står i centrum.
Just den här veckan har över 800 globala ledare, tekniska pionjärer och offentliga personer – inklusive AI-gudfadern Geoffrey Bengios konstnätverk och ett annat nätverk för AI-gudfadern Geoffrey Bengio och ett annat nätverk för neurologisk konst, Geoffrey Bengio. djup lärande, undertecknade ett uttalande som krävde ett globalt stopp för utvecklingen av superintelligens, med hänvisning till existentiella risker för mänskligheten.
Deras varning ekar en känsla som en gång uttryckt av Sam Altman själv i a Developing of 2015, superhuman machine intelligence (SMI) är förmodligen det största hotet mot mänsklighetens fortsatta existens.”
The Future of Life Institute hävdar att beslutet att skapa en potentiell efterträdare till mänskligheten inte bör överlåtas till en handfull tekniska chefer.
Medan debatten om superintelligens fokuserar på framtidens, är den mänskliga kostnaden redan idag och AI:s kostnad. Oavsett om det är genom den långsamma urholkningen av verkliga relationer på grund av AI-beroende eller den skrämmande spiralen av AI-inducerad psykos, är teknikens förmåga att skada inte längre teoretisk.
Det lämnar samhället att brottas med en häpnadsväckande observation från AI-teoretikern Eliezer Yudkowsky:”Hur ser en människa som sakta blir vansinnig ut för ett företag? Det ser ut som en extra månad användare.”
