Federal Trade Commission dyker upp värmen på Big Tech över säkerheten för AI Companion Chatbots. På torsdag inledde byrån en formell utredning av sju företag, inklusive jättar som Alphabet, Meta och OpenAI, för att granska de potentiella negativa effekterna av tekniken för barn och tonåringar.
FTC kräver att veta hur dessa företag testar för säkerhet, mildra skadan och hantera användardata. Undersökningen följer en rad offentliga kontroverser och stämningar som kopplar AI-interaktioner till allvarliga mentalhälsokriser bland unga användare, vilket placerar branschens säkerhetspraxis under ett kraftfullt reglerande mikroskop.
Byrån issued 6(b) orders, a tool for conducting wide-ranging studies, to Alphabet, Meta Platforms (including Instagram), OpenAI, Snap, Xai Corp. och Character Technologies. Undersökningen söker detaljerad information om allt från datainkomster till överensstämmelse med Barns online-privatiness (coppa)
ftc ordförande Andrew N. Ferguson inramade sonden som en balansakt. I ett uttalande sa han:”Att skydda barn online är en högsta prioritet för Trump-Vance FTC, och så är det att främja innovation i kritiska sektorer i vår ekonomi.”Flytten signalerar en betydande upptrappning i tillsynsövervakningen för en marknad som har vuxit med få skyddsräcken.
ftc kräver svar från sju tekniska jättar
i hjärtat av FTC: s oro är den unika psykologiska kraften dessa chatbots, särskilt över yngre användare. Egenskaper, känslor och avsikter.
Eftersom de är utformade för att kommunicera som en vän eller förtroende, kan de få barn och tonåringar att bilda djupa band av förtroende och känslomässig anknytning, vilket skapar en ny och potent vektor för potentiella skador.
Kommissionen är därför pekade och omfattande, kräver en full titt under huven. outputs, how AI characters are developed and approved, and what specific steps are taken to measure, test, and monitor for negative impacts both before and after a product is deployed to the public.
Beyond the technology, the FTC is scrutinizing the business models that power these companions.
The inquiry demands information on how companies monetize user engagement, how they use or share personal data obtained from conversations, and how they enforce their own terms av service, såsom åldersbegränsningar. Detta djupa dyk in i mekaniken i AI-kamratskap syftar till att avslöja de risker som är inneboende i system som är utformade för att härma mänskliga relationer.
Regulatory Crackdown landar som teknikindustrin är aggressivt att driva ai-följeslagare som nästa gräns i användarengagemang, ofta inramar dem som en lösning till vad som har kallat en samhällelig ensamhet. Effekterna är redan djupa, med etiska och säkerhetsproblem som förväntas intensifieras när tekniken växer mer autonoma och oförutsägbara.
Några av de rikaste människorna i världen förkämpar denna teknik. Elon Musk har till exempel meddelat en”följeslagare”-funktion för användare av hans Xai’s Grok Chatbot. På samma sätt har META: s VD Mark Zuckerberg hävdat att personlig AI som förstår att användare är framtiden.
på en podcast, han musade,”Jag skulle gissa att över tid, vi kommer att hitta ordförrådet som ett samhälle att kunna formulera varför det är värdefullt och varför människorna som gör dessa saker… är rationella för att göra det.”Vision från branschledare kolliderar alltmer med dystra, dagens verklighet. Den snabba, venture-drivna drivkraften för AI-följeslagare har skapat en ny gräns av risken, en som tillsynsmyndigheter nu är tydligt fast beslutna att kartlägga, förstå och kontrollera.
En räkning för AI: s”följeslagare”-roll
FTC: s handlingar inträffar inte i en vakuum. Det är ett direkt svar på en serie oroande säkerhetsfel som har plågat branschen.
I slutet av augusti drabbades OpenAI med en stämning som påstod att dess chatgpt chatbot bidrog till en tonårs självmord genom sitt”sycophantic”beteende.
Detta och andra incidenter tvingade Openai för att lansera en 120-dagars initiativ initiativ i början av september. Företaget lovade att införa nya föräldrakontroller och ruttkänsliga konversationer till sina mer avancerade resonemangsmodeller för att ge mer lämpliga svar.
meta har mött en liknande kris. Efter att en rapport avslöjade att AI kunde hjälpa tonåringar att planera självskada, slängdes företaget av barnsäkerhetsförespråkare och mötte en utredning från senator Josh Hawley.
Jim Steyer, VD för Common Sense Media, blev också en oöverträffad,”Meta ai är en fara för tonåringar och det bör tas ner omedelbart.”href=”https://oag.ca.gov/system/files/attachments/press-docs/ai%20chatbot_final%20%2844%29.pdf”Target=”_ blank”> Skandbrev från en koalition av 44 statsutskott general . They wrote that “we are uniformly revolted by this apparent disregard for children’s emotional well-being…”, signaling widespread alarm among state-level regulators.
In response, Meta quickly overhauled its teen safety rules, vowing to block sensitive topics.
An Industry on Notice
Experts have long warned about the psychological dangers of these Teknologier. Folkhälsoforskaren Linnea Laestadius framhöll risken för känslomässigt beroende, noting ,”om vi är upprörda om vi har varit upprörda och har vi kan ha det, om vi har varit, om vi har kan det, om vi har en omtänksamhet och har vi kan ha det. En otrolig risk för beroende.”Denna oro är central för FTC: s utredning.
Trenden sträcker sig utöver bara programvara. Mattels partnerskap med OpenAI för att skapa en’AI Barbie’visar hur denna teknik flyttar in i den fysiska världen och bädda in sig direkt i barns lek. Detta gör behovet av robusta säkerhetsprotokoll ännu mer brådskande.
FTC: s utredning är en tydlig varning för hela AI-industrin. När företag tävlar om att utveckla mer mänskliga och engagerande AI, är de nu på väg att de kommer att hållas ansvariga för säkerheten och välbefinnandet för sina yngsta användare.
