Algorytm firmy Meta służący do identyfikowania szkodliwych treści błędnie oznaczył swoją misję „zbliżanie świata”, wykazując niezwykle wysoką korelację między „Meta” a koncepcją „organizacji terrorystycznej”.
The incydent doprowadził do szybkiego zwolnienia Sebastiana Carlosa, nowo zatrudnionego pracownika, któremu powierzono zadanie zmiany algorytmu, co rodzi pytania etyczne i techniczne dotyczące roli sztucznej inteligencji w moderowaniu treści, jak wspomina w poście na blogu.
Odważna zmiana moderacji treści
Kontrowersje zaczęły się, gdy programista Sebastian Carlos dołączył do zespołu Meta ds. wykrywania szkodliwych treści w jego pierwszy tydzień jako nowego pracownika. Mając za zadanie poprawę wydajności i dokładności systemów moderowania treści Meta, zidentyfikowali znaczące niedociągnięcia w istniejącym algorytmie.
Carlos zaproponował radykalne przepisanie za pomocą Prolog, język programowania znany ze swojej zdolności do obsługi rozumowania symbolicznego i złożonych relacji. Deklaratywny charakter Prologa sprawił, że szczególnie dobrze nadawał się do analizowania zniuansowanych definicji szkodliwych treści.
Aby wzmocnić zrozumienie kontekstu algorytmu, w modernizacji uwzględniono różnorodne zbiory danych, w tym Wikipedię, teksty religijne i encyklopedie. Dzięki temu wieloaspektowemu podejściu Carlos miał na celu zapewnienie włączenia kulturowego i kontekstowego. Jednak to podejście wymagało również rozległych zasobów obliczeniowych.
Powiązane: Decyzja Zuckerberga o zaprzestaniu sprawdzania faktów chwalona przez Trumpa i Muska, krytycy zszokowani
Carlos wyjaśnia, w jaki sposób wewnętrzny wskaźnik kosztów Meta, humorystycznie nazywany W celu uzasadnienia wydatków obliczeniowych przywołano „Lata Gwatemali” (równoważne PKB Gwatemali).
Ulepszony algorytm został zaprojektowany do przetwarzania miliony postów dziennie, analizując ich treść pod kątem bardzo szczegółowej topologii moralnej. Zdaniem Carlosa celem było stworzenie bezstronnego systemu umożliwiającego dokładną kategoryzację szkodliwych materiałów. „System nie był stronniczy, po prostu przestrzegał ustalonych przez nas zasad ” – wyjaśnili.
Kiedy sztuczna inteligencja zwraca się do wewnątrz
Podczas pierwszego dużego uruchomienia testowego zaktualizowany algorytm oznaczył misję Meta jako szkodliwą treść.
Debugowanie nie ujawniło żadnych błędów logicznych. Zamiast tego zaawansowana analiza systemu zidentyfikowała wysoką korelację między terminem „Meta” a wyrażeniami kojarzonymi z „terroryzmem” i „nadmiernym zasięgiem korporacji”. Ten nieoczekiwany wynik uwydatnił wyzwania stojące przed szkoleniem systemów sztucznej inteligencji w zakresie poruszania się po niejednoznacznych pojęciach, takich jak moralność i krzywda.
Oznaczone oświadczenie wywołało natychmiastowe wewnętrzne dyskusje. Niektórzy inżynierowie pochwalili rygorystyczność algorytmu, podczas gdy inni martwili się potencjalnymi konsekwencjami w zakresie public relations. Jeden z menedżerów wyższego szczebla powiedział Carlosowi: „Nie możemy trafić w nasze OKR, takie jak ten”, podkreślając napięcie i rosnącą przepaść między dokładnością techniczną a priorytetami organizacyjnymi.
Skutek: etyka i umowy NDA
Incydent nasilił się, gdy Carlos przedstawił swoje ustalenia podczas spotkania zespołu. Pomimo wykazania logiki decyzji algorytmu, praca pracownika spotkała się z oporem przełożonych. Wkrótce potem został zwolniony i poproszony o podpisanie „podwójnej umowy NDA” – mało znanego mechanizmu prawnego mającego na celu egzekwowanie ścisłej poufności.
A podwójna umowa NDA, znana również jako dwustronna lub wzajemna umowa NDA, to prawnie wiążąca umowa, w ramach której obie zaangażowane strony ujawniają sobie nawzajem poufne informacje i zgadzają się chroń to informacje przed dalszym ujawnieniem.
Carlos pisze, że jego prawnik sugeruje, że takie porozumienia mogą się wzajemnie znosić, umożliwiając pracownikowi publiczne omówienie swoich doświadczeń. Rozważając swoje zwolnienie, dochodzi do wniosku, że „Prawda nie zawsze zgodne z celami firmy.”
Rola sztucznej inteligencji w moderowaniu
Narzędzia do moderowania treści firmy Meta są integralną częścią zarządzania ogromną ilością treści generowanych przez użytkowników na jej platformach. Poleganie przez firmę na sztucznej inteligencji było zarówno koniecznością, jak i źródłem kontrowersji, a krytycy wskazywali na przypadki nadmiernego zasięgu lub niewystarczających działań wobec szkodliwych materiałów.
Incydent wzmaga kontrolę, rodząc pytania dotyczące przejrzystości i odpowiedzialności w podejmowaniu decyzji przez sztuczną inteligencję. Z drugiej strony krytycy Meta mogą zinterpretować to jako oznakę efektywności algorytmów.
Może praktyki i uprzedzenia ideologiczne Meta faktycznie przypominają praktyki organizacji terrorystycznej, a algorytm był trafny? Bez szczegółów technicznych możemy się jedynie domyślać. Jednak dla Carlosa ten wynik położył kres i tak już trudnemu startowi w firmie.
Jak pisze również Carlos, podczas rozmowy kwalifikacyjnej Meta używał okularów rzeczywistości rozszerzonej, gdy zaangażowany programista polegał na nich przy rozwiązywaniu problemu wyzwanie kodowania, poprawianie i ulepszanie zaproponowanego rozwiązania Carlosa. Następnie skonfrontował osobę przeprowadzającą rozmowę ze swoimi ustaleniami, a nawet wykorzystał ten incydent do wynegocjowania wyższej pensji, zaczynając w Meta, w rzeczywistości szantażując go.
Pomijając tę poboczną historię, doświadczenie Carlosa rzuca światło na niezamierzone konsekwencje systemów sztucznej inteligencji i podkreśla trudności w programowaniu algorytmów w celu zrozumienia i zastosowania zniuansowanych ludzkich pojęć, takich jak szkoda, moralność i bezpieczeństwo.
Oznaczona misja mogła być anomalią lub dokładnym dopasowaniem. Tak czy inaczej, Meta z pewnością nie będzie się tym zajmować.
