Metas algoritm för att identifiera skadligt innehåll flaggade av misstag sin uppdragsbeskrivning,”att föra världen närmare varandra”, vilket visar en extremt hög korrelation mellan”Meta”och konceptet med en”terroristorganisation.”
incidenten ledde till en snabb uppsägning av Sebastian Carlos, en nyanställd anställd som fick i uppdrag att se över algoritmen, vilket väckte etiska och tekniska frågor om rollen av AI i innehållsmoderering, som han berättar i ett blogginlägg.
En djärv översyn av innehållsmoderering
Kontroversen började när utvecklaren Sebastian Carlos gick med i Metas team”Harmful Content Detection”under sin första vecka som ny anställd. I uppdrag att förbättra effektiviteten och noggrannheten i Metas innehållsmodereringssystem identifierade de betydande brister i den befintliga algoritmen.
Carlos föreslog en radikal omskrivning med
Prolog, ett programmeringsspråk känt för sin förmåga att hantera symboliska resonemang och komplexa relationer. Prologs deklarativa karaktär gjorde den särskilt väl lämpad för att analysera de nyanserade definitionerna av skadligt innehåll.
För att stärka algoritmens kontextuella förståelse, inkorporerade översynen olika datauppsättningar, inklusive Wikipedia, religiösa texter och uppslagsverk. Med detta mångfacetterade tillvägagångssätt ville Carlos säkerställa kulturell och kontextuell inkludering. Men detta tillvägagångssätt krävde också omfattande beräkningsresurser.
Relaterat: Zuckerbergs drag för att stoppa faktagranskning berömd av Trump och Musk, kritiker chockade
Carlos förklarar hur Metas interna kostnadsmått, humoristiskt hänvisat till som”Guatemala Years”(motsvarande Guatemalas BNP) åberopades för att motivera beräkningskostnaderna.
Den omarbetade Algoritmen var utformad för att bearbeta miljontals inlägg dagligen och analysera deras innehåll mot en mycket detaljerad moralisk topologi. Enligt Carlos var målet att skapa ett opartiskt system som kunde kategorisera skadligt material på ett korrekt sätt reglerna vi gav det”, förklarade de.
När AI vänder sig inåt
Under sin första major testkörning flaggade den uppdaterade algoritmen Metas uppdragsbeskrivning som skadligt innehåll.
Felsökning visade inga fel i logiken. Istället identifierade systemets avancerade analys en hög korrelation mellan termen”Meta”och fraser associerade med”terrorism”och”övergripande företag.”Det oväntade resultatet lyfte fram utmaningarna med att träna AI-system för att navigera i tvetydiga begrepp som moral och skada.
Som Carlos skriver, ledde det flaggade uttalandet till omedelbara interna diskussioner. Vissa ingenjörer berömde algoritmen rigor, medan andra oroade sig för det potentiella PR-nedfallet En högre chef sade enligt uppgift till Carlos:”Vi kan inte slå våra OKRs så här,”och lyfte fram spänningen och den växande klyftan mellan teknisk noggrannhet och organisatoriska prioriteringar.
Händelsen eskalerade när Carlos presenterade sina resultat under ett teammöte. Trots att den visade logiken bakom algoritmens beslut möttes den anställdes arbete av motstånd från högre chefer. Kort efter avskedades han och ombads att underteckna en”dubbel NDA”, en obskyr juridisk mekanism utformad för att upprätthålla strikt sekretess.
A dubbel NDA, även känd som en bilateral eller ömsesidig NDA, är ett juridiskt bindande avtal där båda parter avslöjar konfidentiell information till varandra och samtycker till att skydda den informationen från ytterligare avslöjande
Carlos skriver att hans advokat föreslår att sådana avtal kan ogiltigförklara varandra, vilket gör att den anställde kan diskutera sin upplevelse offentligt. han drar slutsatsen att”Sanningen överensstämmer inte alltid med företagets mål.”
AI:s roll i moderering
Metas verktyg för innehållsmoderering är en integrerad del av hanteringen av den stora mängden användargenererat innehåll på dess plattformar. Företagets beroende av AI har varit både en nödvändighet och en källa till kontroverser, där kritiker har pekat på fall av överraskningar eller otillräckliga åtgärder mot skadligt material.
Incidenten ökar granskningen och väcker frågor om transparens och ansvarsskyldighet. i AI-beslutsfattande. Kritiker av Meta å andra sidan kan tolka det som ett tecken på effektivitet hos algoritmer.
Kanske Metas metoder och ideologiska fördomar faktiskt liknar en terroristorganisations och algoritmen var perfekt? Utan tekniska detaljer kan vi bara gissa. Men för Carlos satte det här resultatet stopp för en redan stenig start på företaget.
Som Carlos också skriver, hade Metas augmented reality-glasögon använts under hans intervjuprocess när en involverad utvecklare litade på dem för att lösa ett problem. kodningsutmaning, korrigering och förbättring av en föreslagen lösning av Carlos. Han konfronterade sedan intervjuaren med sina upptäckter och använde till och med den här incidenten för att pruta om en högre lön när han började på Meta, och utpressade honom faktiskt.
Att sidan av denna sidohistoria sätter Carlos erfarenhet fokus på de oavsiktliga konsekvenserna av AI-system och belyser svårigheterna med att programmera algoritmer för att förstå och tillämpa nyanserade mänskliga begrepp som skada, moral och säkerhet.
Det flaggade uppdraget kan ha varit en anomali eller en exakt matchning. Hur som helst, Meta kommer definitivt inte att gräva i det här.
