Algoritmul Meta pentru identificarea conținutului dăunător și-a semnalat în mod eronat declarația de misiune, „aducerea lumii mai aproape împreună”, arătând o corelație extrem de ridicată între „Meta” și conceptul de „organizație teroristă”.
The incidentul a dus la concedierea rapidă a lui Sebastian Carlos, un angajat nou angajat care a fost însărcinat să revizuiască algoritmul, ridicând întrebări etice și tehnice cu privire la acest rol. de AI în moderarea conținutului, așa cum povestește el în o postare pe blog.
O revizuire îndrăzneață a moderării conținutului
Controversa a început când dezvoltatorul Sebastian Carlos s-a alăturat echipei Meta „Detecția conținutului dăunător” în prima sa săptămână ca nou angajat. Însărcinați să îmbunătățească eficiența și acuratețea sistemelor de moderare a conținutului Meta, aceștia au identificat deficiențe semnificative în algoritmul existent.
Carlos a propus o rescriere radicală folosind Prolog, un limbaj de programare renumit pentru capacitatea sa de a gestiona raționamentul simbolic și relațiile complexe. Natura declarativă a lui Prolog l-a făcut deosebit de potrivit pentru a analiza definițiile nuanțate ale conținutului dăunător.
Pentru a consolida înțelegerea contextuală a algoritmului, revizuirea a inclus diverse seturi de date, inclusiv Wikipedia, texte religioase și enciclopedii. Cu această abordare cu mai multe fațete, Carlos și-a propus să asigure incluziunea culturală și contextuală. Cu toate acestea, această abordare a necesitat și resurse de calcul extinse.
Legate: Mișcarea lui Zuckerberg de a opri verificarea faptelor, lăudată de Trump și Musk, criticii șocați
Carlos explică modul în care măsurarea costurilor interne a Meta, denumită cu umor „Anii Guatemala” (echivalent cu PIB-ul Guatemala), a fost invocat pentru a justifica cheltuielile de calcul.
Algoritmul renovat a fost conceput pentru a procesa milioane de postări zilnic, analizând conținutul lor în raport cu o topologie morală foarte detaliată “, au explicat ei.
Când AI se îndreaptă spre interior
În timpul primei sale teste majore, algoritmul actualizat a semnalat declarația de misiune a lui Meta drept conținut dăunător.
Depanarea nu a evidențiat nicio eroare în logică. În schimb, analiza avansată a sistemului a identificat o corelație ridicată între termenul „Meta” și expresiile asociate cu „terorism” și „depășire corporativă”. Rezultatul neașteptat a evidențiat provocările antrenării sistemelor AI pentru a naviga prin concepte ambigue precum moralitatea și răul.
Așa cum scrie Carlos, declarația semnalată a provocat discuții interne imediate. Unii ingineri au lăudat rigoarea algoritmului, în timp ce alții s-au îngrijorat Potențiale consecințe de relații publice i-a spus lui Carlos: „Nu ne putem lovi OKR-urile în acest fel”, evidențiind tensiunea și decalajul tot mai mare dintre acuratețea tehnică și prioritățile organizaționale.
The Fallout: Etică și NDA
Incidentul a escaladat când Carlos și-a prezentat concluziile în timpul unei întâlniri de echipă. În ciuda faptului că s-a demonstrat logica din spatele deciziilor algoritmului, munca angajatului a fost întâmpinată cu rezistență din partea superiorilor. La scurt timp după, el a fost demis și i s-a cerut să semneze un „ADN dublu”, un mecanism legal obscur conceput pentru a impune confidențialitatea strictă.
A NDA dublă, cunoscută și ca NDA bilaterală sau reciprocă, este un acord obligatoriu din punct de vedere juridic în care ambele părți implicate dezvăluie informații confidențiale unul altuia și sunt de acord să protejeze aceste informații împotriva dezvăluirii ulterioare
Carlos scrie că avocatul său sugerează că astfel de acorduri se pot anula reciproc, permițând angajatului să discute public despre concedierea sa. el conchide că „Adevărul nu se aliniază întotdeauna cu obiectivele corporative”.
Rolul AI în moderare
Instrumentele de moderare a conținutului Meta sunt esențiale pentru gestionarea cantității mari de conținut generat de utilizatori pe platformele sale. Dependența companiei de inteligența artificială a fost atât o necesitate, cât și o sursă de controverse, criticii indicând cazurile de exagerare sau acțiuni insuficiente împotriva materialelor dăunătoare.
Incidentul adaugă la control, ridicând întrebări despre transparență și responsabilitate. în luarea deciziilor AI. Pe de altă parte, criticii lui Meta l-ar putea interpreta ca un semn al eficienței algoritmilor.
Poate că practicile și părtinirile ideologice ale lui Meta seamănă de fapt cu cele ale unei organizații teroriste, iar algoritmul a fost perfect? Fără detalii tehnice putem doar ghici. Dar pentru Carlos, acest rezultat a pus capăt unui început deja dificil al companiei.
Așa cum scrie și Carlos, ochelarii de realitate augmentată ai lui Meta au fost folosiți în timpul procesului de interviu, când un dezvoltator implicat s-a bazat pe ei pentru a rezolva o problemă. provocare de codificare, corectarea și îmbunătățirea unei soluții propuse de Carlos. Apoi l-a confruntat pe intervievator cu constatările sale și chiar a folosit acest incident pentru a negocia un salariu mai mare atunci când a început la Meta, șantajându-l de fapt.
Lăsând această poveste secundară deoparte, experiența lui Carlos pune în centrul atenției consecințele nedorite. a sistemelor AI și evidențiază dificultățile algoritmilor de programare pentru a înțelege și a aplica concepte umane nuanțate precum răul, moralitatea și siguranța.
Declarația de misiune marcată poate fi o anomalie sau o potrivire precisă. Oricare ar fi cazul, Meta cu siguranță nu se va ocupa de asta.
