L’algorithme de Meta pour identifier les contenus préjudiciables a signalé par erreur son énoncé de mission,”rapprocher le monde”, montrant une corrélation extrêmement élevée entre”Meta”et le concept d'”organisation terroriste”.
Le L’incident a conduit au licenciement rapide de Sebastian Carlos, un nouvel employé chargé de remanier l’algorithme, soulevant des questions éthiques et techniques sur le rôle de l’IA dans la modération du contenu, comme il le raconte dans un article de blog.
Une refonte audacieuse de la modération du contenu
La controverse a commencé lorsque le développeur Sebastian Carlos a rejoint l’équipe « Détection de contenu nuisible » de Meta au cours de sa première semaine en tant que un nouvel employé. Chargés d’améliorer l’efficacité et la précision des systèmes de modération de contenu de Meta, ils ont identifié des lacunes importantes dans l’algorithme existant.
Carlos a proposé une réécriture radicale en utilisant Prolog, un langage de programmation réputé pour sa capacité à gérer le raisonnement symbolique et les relations complexes. La nature déclarative de Prolog le rendait particulièrement adapté à l’analyse des définitions nuancées du contenu préjudiciable.
Pour renforcer la compréhension contextuelle de l’algorithme, la refonte a incorporé divers ensembles de données, notamment Wikipédia, des textes religieux et des encyclopédies. Avec cette approche à multiples facettes, Carlos visait à garantir l’inclusivité culturelle et contextuelle. Cependant, cette approche nécessitait également des ressources informatiques considérables.
Connexe : La décision de Zuckerberg d’arrêter la vérification des faits saluée par Trump et Musk, les critiques choqués
Carlos explique comment la mesure des coûts internes de Meta, appelée avec humour Les « années Guatemala » (équivalentes au PIB du Guatemala) ont été invoquées pour justifier les dépenses de calcul.
L’algorithme remanié a été conçu pour traiter des millions de messages quotidiennement, en analysant leur contenu par rapport à une morale très détaillée. topologie. Selon Carlos, l’objectif était de créer un système impartial capable de catégoriser avec précision les contenus nuisibles.”Le système n’était pas biaisé ; il suivait simplement les règles que nous lui avions données”, ont-ils expliqué.
Quand l’IA se tourne vers l’intérieur
Lors de son premier test majeur, l’algorithme mis à jour a signalé la déclaration de mission de Meta comme contenu nuisible.
Le débogage n’a révélé aucune erreur de logique. Au lieu de cela, l’analyse avancée du système a identifié une forte corrélation entre le terme « Meta » et les expressions associées au « terrorisme » et à la « portée excessive des entreprises ». Ce résultat inattendu a mis en évidence les défis de la formation des systèmes d’IA à naviguer dans des concepts ambigus tels que la moralité et le préjudice. p>
La déclaration signalée a suscité des discussions internes immédiates. Certains ingénieurs ont loué la rigueur de l’algorithme, tandis que d’autres s’inquiétaient des retombées potentielles sur les relations publiques. Un cadre supérieur aurait déclaré à Carlos : « Nous ne pouvons pas atteindre nos OKR de cette manière ». soulignant la tension et le fossé croissant entre la précision technique et les priorités organisationnelles.
Les retombées : éthique et NDA
L’incident s’est aggravé lorsque Carlos a présenté ses conclusions lors d’une réunion d’équipe. Bien qu’il ait démontré la logique derrière les décisions de l’algorithme, le travail de l’employé s’est heurté à la résistance de la part des supérieurs. Peu de temps après, il a été licencié et on lui a demandé de signer une « double NDA », un obscur mécanisme juridique conçu pour garantir une stricte confidentialité.
A double NDA, également connu sous le nom de NDA bilatérale ou mutuelle, est un accord juridiquement contraignant dans lequel les deux parties impliquées se divulguent mutuellement des informations confidentielles et acceptent de protéger ces informations contre toute divulgation ultérieure.
Carlos écrit que son avocat suggère que de tels accords peuvent s’annuler mutuellement, permettant à l’employé de discuter publiquement de son expérience. En réfléchissant à son licenciement, il conclut que « la vérité ne correspond pas toujours aux objectifs de l’entreprise.”
Le rôle de l’IA dans la modération
Les outils de modération de contenu de Meta font partie intégrante de la gestion de la grande quantité de contenu généré par les utilisateurs sur ses plateformes. Le recours de l’entreprise à l’IA est à la fois une nécessité et une source de controverse, les critiques pointant du doigt des cas d’action excessive ou insuffisante contre les contenus nuisibles.
L’incident ajoute à la surveillance, soulevant des questions sur la transparence et la responsabilité. dans la prise de décision en matière d’IA. Les critiques de Meta, de l’autre côté, pourraient l’interpréter comme un signe d’efficacité des algorithmes.
Peut-être que les pratiques et les préjugés idéologiques de Meta ressemblent réellement à ceux d’une organisation terroriste et que l’algorithme était parfait ? Sans détails techniques, nous ne pouvons que deviner. Mais pour Carlos, ce résultat a mis fin à un début déjà difficile pour l’entreprise.
Comme Carlos l’écrit également, les lunettes de réalité augmentée de Meta avaient été utilisées lors de son entretien lorsqu’un développeur impliqué comptait sur elles pour résoudre un problème. défi de codage, correction et amélioration d’une solution proposée par Carlos. Il a ensuite confronté l’intervieweur avec ses conclusions et a même utilisé cet incident pour négocier un salaire plus élevé lorsqu’il a débuté chez Meta, le faisant ainsi chanter.
Cette histoire parallèle mise à part, l’expérience de Carlos met en lumière les conséquences involontaires. des systèmes d’IA et met en évidence les difficultés de programmation d’algorithmes pour comprendre et appliquer des concepts humains nuancés tels que le préjudice, la moralité et la sécurité.
L’énoncé de mission signalé peut être une anomalie ou une correspondance précise. Quoi qu’il en soit, Meta ne s’intéressera sûrement pas à cela.
