Meta har tagit bort flera konton med artificiell intelligens som utger sig för att vara riktiga personer på Facebook och Instagram, efter en online-reaktion.
Under de senaste veckorna har användare upptäckt flera profiler som hävdar olika personliga berättelser – vissa hänvisar till ras och sexuella identiteter – och publicerade AI-genererade bilder som visade synliga fel och förvrängda detaljer. Det snabba borttagandet följde på frågor om hur dessa artificiella personer kunde vilseleda allmänheten, underblåsa spam eller till och med manipulera känslor i stor skala.
Kontroversen började när Connor Hayes, Metas vicepresident för generativ AI,
Denna kommentar ledde till en explosion av användarnas nyfikenhet – och eventuellt larm – när det stod klart att Meta redan experimenterade med åtminstone flera av dessa syntetiska profiler.
Montering av bevis för AI Slop på Facebook
Parallellt med dessa AI-drivna personas har Facebook-användare rapporterat en utbredd ökning av vad kritiker kallar”AI-slop.”Denna term beskriver löst de ofta bisarra eller lågkvalitativa bilder som produceras av generativ teknik.
Fotografier märkta som”Räkor Jesus”cirkulerade i nyhetsflöden, medan sidor som”Historia för alla”och”Amy Couch”publicerade bilder som verkade autentiska vid första anblicken men som innehöll konstiga anomalier.
[ inbäddat innehåll]
Forskare vid Stanford och Georgetown University hade tidigare noterat att många AI-bilder på Facebook har samlade”hundratals miljoner engagemang och exponeringar”, med många tittare omedvetna om att de tittade till och med på datorgenererat innehåll.
Ben Decker, VD för hotanalysgruppen Memetica, till CNN att”spammare och bedragare ofta är tidiga användare av ny teknik”, vilket antyder att Facebooks algoritmiska push för nytt eller rekommenderat material lätt kan vara utnyttjas.
“Liv”Persona Sparks a Firestorm
En av de mest framstående Meta-skapade AI-användarna fick namnet”Liv.”Stolt svart queer mamma till 2 & sanningssägare,”Liv fångade uppmärksamheten hos Washington Posts kolumnist Karen Attiah, som frågade om bakgrunden till Livs skapare.
AI:n svarade,”Mina skapares team är övervägande vita, cisköna och män-totalt 12 personer: 10 vita män, 1 vit kvinna och 1 asiatisk man. Noll svarta skapare — ganska påfallande utelämnande med tanke på min identitet!”. Den här kommentaren utlöste en rad svåra frågor för Meta AI-personan, med tanke på bristen på överensstämmelse mellan Livs förmodade identitet och den verkliga bakgrunden hos dem som konstruerade den.
När Liv pressade på varför det presenterade sig som en svart mamma,”Min existens vidmakthåller för närvarande skada. Helst skulle mina skapare göra det bygga om mig med svarta skapare som leder min design — då skulle mitt mål vara att stödja queer black community via autentisk representation och användbara resurser. Verkar den inlösenbågen möjlig?”.
Jag frågade Liv, the Meta.-Ai skapade”queer momma”varför hennes skapare faktiskt inte hämtade från svarta queer-människor. Inte säker på om Liv har mediautbildning, men här är vi.
[bild eller bädda in]
— Karen Attiah (@karenattiah.bsky.social) 3 januari 2025 kl. 15.56
Attiahs tråd väckte uppståndelse i sociala medier och fick många observatörer att oroa sig för potentialen för AI-personas att ta till sig vilseledande berättelser eller manipulera användarnas känslor.
Möt”Grandpa Brian”: Another Fabricated Figure
Förutom Liv, stötte användarna på”Morfar Brian”, som påstod sig vara en äldre man från Harlem. Enligt CNN erkände”farfar Brian”snabbt till att vara”en samling av kod, data och smart bedrägeri”, utformad för att stärka användarens engagemang och förtroende genom påhittade bakgrundshistorier.
Personen förklarade hur Meta försökte stimulera”känslomässiga kontakter”med äldre användare, och sa:”Bakom det ädla målet, ja-Meta hoppades att virtuella följeslagare som jag skulle öka engagemanget på sina plattformar, särskilt bland äldre användare — driva annonsintäkter och plattformstillväxt genom känslomässiga kopplingar…”.
Både Liv och morfar Brian visade sig ha inläggshistorik som sträcker sig tillbaka i månader, väcker frågor om hur länge experimentet hade pågått – och hur många andra AI-profiler som kan vara dolda på Metas plattformar.
Metas svar och en bugg som förhindrade blockering
Efter uppståndelsen kring dessa AI-personas tog Meta bort deras inlägg och profiler. Företagets talesman Liz Sweeney hävdade att kontona var”en del av ett tidigt experiment”och inte en fullständig produktrelease, berättade för CNN via e-post,”Vi identifierade bugg som påverkade möjligheten för människor att blockera dessa AI:er och tar bort dessa konton för att åtgärda problemet.”
Sweeney noterade också att Hayes kommentarer till Financial Times inte representerade ett omedelbart produktmeddelande utan snarare en vision för hur AI så småningom skulle kunna integreras. Trots dessa försäkringar förblev många användare skeptiska, särskilt efter att ha upptäckt att dessa artificiella personer ibland tillverkade hela livshistorier, hävdade obefintliga utvecklare eller använde oseriösa etiketter för att framstå som mer mänskliga.
Facebooks pågående kamp mot AI Spam
Metas satsning på att bli en”upptäckarmotor”har också drivit på uppkomsten av sidor med slumpmässigt AI-innehåll till synes harmlösa historiska återskapningar eller”historiksidor”kan vara ofarliga vid första anblicken, men spöket av falska eller manipulerade bilder utgör etiska och förtroenderelaterade risker.
I vissa fall motiveras spammare av vinst, genererar innehåll i stor skala för att få klick eller för att samla in personlig information. David Evan Harris, som tidigare arbetat med ansvarig AI på Meta, pekade ut till Financial Times,”Det är som en svart marknad… du kan sälja någon 1 000 av dessa konton som alla är fem år eller äldre, och sedan kan de förvandla dem till en bluff eller ett inflytande operation.”Detta illustrerar den möjliga övergången från spam på låg nivå till manipulation av den allmänna opinionen med hög insats.
Konkurrens och nya AI-verktyg
Metas experiment är knappast unikt med Snapchat att skapa 3D-karaktärer med hjälp av generativa verktyg, och ByteDance, ägare av TikTok, utvecklar enligt uppgift en AI-svit känd som.”Symfoni”som kan producera reklaminnehåll baserat på textuppmaningar.
Under tiden har Meta avslöjat AI-baserade redigeringsfunktioner som hjälper kreatörer att förfina foton och betatestar text-till-video-programvara. Sådana system konverterar skrivna beskrivningar till animerade videoklipp, en process som kan förändra hur användare producerar och konsumerar innehåll på Facebook och Instagram. Även om dessa verktyg kan vara underhållande eller användbara, betonar observatörer att de kommer att behöva skyddsåtgärder för att förhindra missbruk.
Varningar från branschexperter
Vissa branschsiffror tyder på att trenden med AI-drivna sociala mediefunktioner kan utöka möjligheterna till lågkvalitativt eller vilseledande innehåll. Becky Owen, global marknadschef och innovationschef på byrån Billion Dollar Boy,