Metas algoritme for å identifisere skadelig innhold flagget feilaktig oppdragserklæringen, «bringing the world closer together», og viser en ekstremt høy korrelasjon mellom «Meta» og konseptet om en «terroristorganisasjon».
hendelsen førte til rask oppsigelse av Sebastian Carlos, en nyansatt medarbeider som fikk i oppgave å overhale algoritmen, og reiste etiske og tekniske spørsmål om rollen av AI i innholdsmoderering, mens han forteller i et blogginnlegg.
En modig overhaling av innholdsmoderering
Kontroversen startet da utvikleren Sebastian Carlos ble med i Metas”Harmful Content Detection”-team i sin første uke som ny ansatt. I oppgave å forbedre effektiviteten og nøyaktigheten til Metas innholdsmodereringssystemer, identifiserte de betydelige mangler i den eksisterende algoritmen.
Carlos foreslo en radikal omskriving ved hjelp av Prolog, et programmeringsspråk kjent for sin evne til å håndtere symbolske resonnementer og komplekse relasjoner. Prologs deklarative natur gjorde den spesielt godt egnet til å analysere de nyanserte definisjonene av skadelig innhold.
For å styrke algoritmens kontekstuelle forståelse, inkorporerte overhalingen forskjellige datasett, inkludert Wikipedia, religiøse tekster og leksika. Med denne mangefasetterte tilnærmingen hadde Carlos som mål å sikre kulturell og kontekstuell inkludering. Denne tilnærmingen krevde imidlertid også omfattende beregningsressurser.
Relatert: Zuckerbergs trekk for å stoppe faktasjekking Rost av Trump og Musk, kritikere sjokkert
Carlos forklarer hvordan Metas interne kostnadsmåling, humoristisk referert til som”Guatemala Years”(tilsvarer Guatemalas BNP), ble påberopt for å rettferdiggjøre beregningsutgiftene.
Det fornyede Algoritmen ble designet for å behandle millioner av innlegg daglig, og analysere innholdet deres mot en svært detaljert moralsk topologi. Ifølge Carlos var målet å lage et objektivt system som var i stand til nøyaktig å kategorisere skadelig materiale i henhold til reglene den var programmert til å følge.
Når AI vender innover
Under sin første store testkjøring, flagget den oppdaterte algoritmen Metas oppdragserklæring som skadelig innhold
Feilsøking avslørte ingen feil i logikken I stedet identifiserte systemets avanserte analyse en høy korrelasjon mellom begrepet”Meta”og fraser assosiert med”terrorisme”og”bedriftsoverskridelse.”Det uventede resultatet fremhevet utfordringene med å trene opp AI-systemer for å navigere i tvetydige konsepter som moral og skade.
Som Carlos skriver, førte den flaggede uttalelsen til umiddelbare interne diskusjoner. Noen ingeniører berømmet algoritmens strenghet, mens andre bekymret seg for det potensielle utfallet av PR. En seniorleder skal ha sagt til Carlos:”Se, dette er… imponerende, men vi kan ikke treffe OKR-ene våre på denne måten.”og fremhever spenningen og økende skillet mellom teknisk nøyaktighet og organisatoriske prioriteringer.
The Fallout: Ethics and NDAs
Hendelsen eskalerte da Carlos presenterte funnene sine under et teammøte til tross for at han demonstrerte logikken bak algoritmens avgjørelser, ble den ansattes arbeid møtt med motstand fra høyerestående personer. Kort tid etter ble han avskjediget og bedt om å signere en”dobbel NDA”, en uklar juridisk mekanisme designet for å håndheve streng konfidensialitet.
En dobbel NDA, også kjent som en bilateral eller gjensidig NDA, er en juridisk bindende avtale der begge involverte parter avslører konfidensiell informasjon til hverandre og er enige om å beskytte denne informasjonen mot ytterligere avsløring.
Carlos skriver at advokaten hans foreslår at slike avtaler kan oppheve hverandre, slik at den ansatte kan diskutere sin erfaring offentlig. Når han reflekterer over oppsigelsen, konkluderer han med at”Sannheten stemmer ikke alltid overens med bedriftens mål.”
Rollen til AI i moderasjon
Metas innhold moderasjonsverktøy er integrert i å administrere den enorme mengden brukergenerert innhold på plattformene Selskapets avhengighet av AI har vært både en nødvendighet og en kilde til kontrovers kritikere som peker på tilfeller av overreach eller utilstrekkelig handling mot skadelig materiale.
Hendelsen øker granskningen, og reiser spørsmål om åpenhet og ansvarlighet i AI-beslutninger et tegn på effektivitet av algoritmer
Kanskje Metas praksis og ideologiske skjevheter ligner de til en terrororganisasjon og. algoritmen var perfekt? brukt under intervjuprosessen hans da en involvert utvikler stolte på dem for å løse en kodeutfordring, korrigere og forbedre en foreslått løsning av Carlos. Deretter konfronterte han intervjueren med funnene sine og brukte til og med denne hendelsen til å forhandle om en høyere lønn da han begynte i Meta, og utpresset ham faktisk.
Denne sidehistorien til side setter Carlos’erfaring søkelyset på de utilsiktede konsekvensene av AI-systemer og fremhever vanskelighetene med å programmere algoritmer for å forstå og anvende nyanserte menneskelige konsepter som skade, moral og sikkerhet.
Den flaggede oppdragserklæringen kan ha vært en anomali eller et presist samsvar. Uansett, Meta vil garantert ikke grave i dette.
