O algoritmo do Meta para identificar conteúdo prejudicial sinalizou erroneamente sua declaração de missão, “aproximar o mundo”, mostrando uma correlação extremamente alta entre “Meta” e o conceito de “Organização Terrorista”.
O O incidente levou à rápida demissão de Sebastian Carlos, um funcionário recém-contratado encarregado de revisar o algoritmo, levantando questões éticas e técnicas sobre o papel da IA na moderação de conteúdo, conforme ele conta em uma postagem do blog.
Uma revisão ousada da moderação de conteúdo
A controvérsia começou quando o desenvolvedor Sebastian Carlos se juntou à equipe de “Detecção de conteúdo prejudicial” do Meta em sua primeira semana como um novo funcionário. Com a tarefa de melhorar a eficiência e a precisão dos sistemas de moderação de conteúdo do Meta, eles identificaram deficiências significativas no algoritmo existente.
Carlos propôs uma reescrita radical usando Prolog, uma linguagem de programação conhecida por sua capacidade de lidar com raciocínio simbólico e relacionamentos complexos. A natureza declarativa do Prolog tornou-o particularmente adequado para analisar as definições diferenciadas de conteúdo prejudicial.
Para fortalecer a compreensão contextual do algoritmo, a revisão incorporou diversos conjuntos de dados, incluindo Wikipédia, textos religiosos e enciclopédias. Com esta abordagem multifacetada, Carlos pretendia garantir a inclusão cultural e contextual. No entanto, esta abordagem também exigiu extensos recursos computacionais.
Relacionado: A decisão de Zuckerberg para acabar com a verificação de fatos elogiada por Trump e Musk, críticos chocados
Carlos explica como a métrica de custo interno da Meta, humoristicamente chamada de Os “Anos da Guatemala” (equivalente ao PIB da Guatemala) foram invocados para justificar as despesas computacionais.
O algoritmo renovado foi projetado para processar milhões de postagens diariamente, analisando seu conteúdo em relação a um altamente topologia moral detalhada Segundo Carlos, o objetivo era criar um sistema imparcial, capaz de categorizar com precisão o material prejudicial. Ele garante que o sistema funcionasse sem preconceitos e operasse estritamente de acordo com as regras para as quais foi programado.
Durante seu primeiro grande teste, o algoritmo atualizado sinalizou a declaração de missão do Meta como conteúdo prejudicial
A depuração não revelou erros de lógica.. Em vez disso, a análise avançada do sistema identificou uma alta correlação entre o termo “Meta” e frases associadas a “terrorismo” e “exagero corporativo”. O resultado inesperado destacou os desafios de treinar sistemas de IA para navegar em conceitos ambíguos como moralidade e danos.
Como Carlos escreve, a declaração sinalizada gerou discussões internas imediatas. Alguns engenheiros elogiaram o rigor do algoritmo, enquanto outros se preocuparam com as possíveis consequências nas relações públicas. Um gerente sênior teria dito a Carlos: “Olha, isso é… impressionante, mas não podemos atingir nossos OKRs assim.” destacando a tensão e a crescente divisão entre a precisão técnica e as prioridades organizacionais.
As consequências: Ética e NDAs
O incidente aumentou quando Carlos apresentou suas descobertas durante uma reunião de equipe. Apesar de demonstrar a lógica por trás das decisões do algoritmo, o trabalho do funcionário encontrou resistência por parte dos superiores. Pouco depois, ele estava demitido e solicitado a assinar um “NDA duplo”, um mecanismo legal obscuro projetado para impor confidencialidade estrita.
Um NDA duplo, também conhecido como bilateral ou mútuo NDA é um acordo juridicamente vinculativo em que ambas as partes envolvidas divulgam informações confidenciais entre si e concordam em proteger essas informações de futuras divulgações.
Carlos escreve que seu advogado sugere que tais acordos podem anular um ao outro, permitindo que o funcionário discuta publicamente sua experiência. Refletindo sobre sua demissão, ele escreve: “Considerando que eles me demitiram por contar algumas verdades, acho que devo a história completa à Internet.”
O papel da IA na moderação
As ferramentas de moderação de conteúdo da Meta são essenciais para gerenciar a grande quantidade de conteúdo gerado por usuários em suas plataformas. A dependência da empresa na IA tem sido uma necessidade e uma fonte de controvérsia, com os críticos apontando para casos de. ação excessiva ou insuficiente contra material prejudicial.
O incidente aumenta o escrutínio, levantando questões sobre transparência e responsabilidade na tomada de decisões da IA. Os críticos do Meta, por outro lado, podem interpretá-lo como um sinal de eficiência da IA. algoritmos.
Talvez as práticas e preconceitos ideológicos do Meta realmente se assemelhem aos de uma organização terrorista e o algoritmo fosse certeiro. Sem detalhes técnicos, só podemos adivinhar. Mas para Carlos esse resultado pôs fim a uma situação já difícil. comece no empresa.
Como Carlos também escreve, os óculos de realidade aumentada da Meta foram usados durante seu processo de entrevista, quando um desenvolvedor envolvido confiou neles para resolver um desafio de codificação, corrigindo e melhorando uma solução proposta por Carlos. Ele então confrontou o entrevistador com suas descobertas e até usou esse incidente para negociar um salário mais alto quando começou na Meta, na verdade chantageando-o.
Deixando de lado essa história paralela, a experiência de Carlos destaca as consequências não intencionais. dos sistemas de IA e destaca as dificuldades de programar algoritmos para compreender e aplicar conceitos humanos diferenciados, como danos, moralidade e segurança.
A declaração de missão sinalizada pode ter sido uma anomalia ou uma correspondência precisa. Seja qual for o caso, Meta certamente não vai se aprofundar nisso.
