El algoritmo de Meta para identificar contenido dañino marcó erróneamente su declaración de misión,”acercar al mundo”, mostrando una correlación extremadamente alta entre”Meta”y el concepto de”Organización terrorista”.
El El incidente provocó el rápido despido de Sebastián Carlos, un empleado recién contratado al que se le asignó la tarea de revisar el algoritmo, lo que generó dudas éticas y técnicas sobre el papel de la IA en la moderación de contenidos, como él mismo relata en una publicación de blog.
Una revisión audaz de la moderación de contenido
La controversia comenzó cuando el desarrollador Sebastián Carlos se unió al equipo de”Detección de contenido nocivo”de Meta en su primera semana como un nuevo empleado. Con la tarea de mejorar la eficiencia y precisión de los sistemas de moderación de contenido de Meta, identificaron deficiencias significativas en el algoritmo existente.
Carlos propuso una reescritura radical usando Prolog, un lenguaje de programación reconocido por su capacidad para manejar razonamiento simbólico y relaciones complejas. La naturaleza declarativa de Prolog lo hizo particularmente adecuado para analizar las definiciones matizadas de contenido dañino.
Para fortalecer la comprensión contextual del algoritmo, la revisión incorporó diversos conjuntos de datos, incluidos Wikipedia, textos religiosos y enciclopedias. Con este enfoque multifacético, Carlos pretendía garantizar la inclusión cultural y contextual. Sin embargo, este enfoque también requirió amplios recursos computacionales.
Relacionado: La medida de Zuckerberg para detener la verificación de datos elogiada por Trump y Musk, los críticos sorprendidos
Carlos explica cómo la métrica de costos internos de Meta, conocida con humor como Se invocó “Años Guatemala”(equivalente al PIB de Guatemala) para justificar los gastos computacionales.
El algoritmo renovado fue diseñado para procesar millones de publicaciones diariamente, analizando su contenido contra un topología moral altamente detallada Según Carlos, el objetivo era crear un sistema imparcial capaz de categorizar con precisión el material dañino. Asegura que el sistema funcionó sin prejuicios y operó estrictamente de acuerdo con las reglas para las que fue programado.
Cuando la IA se vuelve hacia adentro
Durante su primera prueba importante, el algoritmo actualizado marcó la declaración de misión de Meta como contenido dañino.
La depuración no reveló errores. lógica. En cambio, el análisis avanzado del sistema identificó una alta correlación entre el término”Meta”y frases asociadas con”terrorismo”y”extralimitación corporativa”. El resultado inesperado puso de relieve los desafíos de entrenar sistemas de IA para navegar por conceptos ambiguos como moralidad y daño.
Como escribe Carlos, la declaración señalada provocó discusiones internas inmediatas. Algunos ingenieros elogiaron el rigor del algoritmo, mientras que a otros les preocuparon las posibles consecuencias en las relaciones públicas. Según se informa, un alto directivo le dijo a Carlos:”Mira, esto es… impresionante, pero no podemos alcanzar nuestros OKR de esta manera”, destacando la tensión y la creciente división entre la precisión técnica y las prioridades organizativas.
Las consecuencias: ética y acuerdos de confidencialidad
El incidente se intensificó cuando Carlos presentó sus hallazgos durante una reunión del equipo. A pesar de demostrar la lógica detrás de las decisiones del algoritmo, el trabajo del empleado encontró resistencia por parte de los superiores.. Poco después, lo despidieron y le pidieron que firmara un “doble acuerdo de confidencialidad”, un oscuro mecanismo legal diseñado para imponer una estricta confidencialidad.
Una doble NDA, también conocida como bilateral o mutua NDA, es un acuerdo legalmente vinculante en el que ambas partes involucradas revelan información confidencial entre sí y acuerdan proteger esa información de una mayor divulgación.
Carlos escribe que su abogado sugiere que dichos acuerdos pueden anularse entre sí, permitiendo al empleado discutir su experiencia públicamente. Al reflexionar sobre su despido, escribe:”Teniendo en cuenta que me despidieron por decir algunas verdades, creo que le debo a Internet toda la historia”.
El papel de la IA con moderación
Las herramientas de moderación de contenido de Meta son fundamentales para gestionar la gran cantidad de contenido generado por los usuarios en sus plataformas. La dependencia de la empresa de la IA ha sido tanto una necesidad como una fuente de controversia, y los críticos señalan casos de ello. extralimitación o acción insuficiente contra material dañino.
El incidente se suma al escrutinio, planteando preguntas sobre la transparencia y la responsabilidad en la toma de decisiones de la IA. Los críticos de Meta, por otro lado, podrían interpretarlo como una señal de eficiencia. algoritmos.
¿Quizás las prácticas y los prejuicios ideológicos de Meta en realidad se parecen a los de una organización terrorista y el algoritmo fue acertado? Sin detalles técnicos, solo podemos adivinar, pero para Carlos este resultado puso fin a una situación que ya era difícil. empezar en el empresa.
Como también escribe Carlos, las gafas de realidad aumentada de Meta se habían utilizado durante su proceso de entrevista cuando un desarrollador involucrado confió en ellas para resolver un desafío de codificación, corrigiendo y mejorando una solución propuesta por Carlos. Luego confrontó al entrevistador con sus hallazgos e incluso usó este incidente para negociar un salario más alto cuando comenzó en Meta, en realidad lo chantajeó.
Dejando a un lado esta historia paralela, la experiencia de Carlos pone de relieve las consecuencias no deseadas. de los sistemas de IA y destaca las dificultades de programar algoritmos para comprender y aplicar conceptos humanos matizados como daño, moralidad y seguridad.
La declaración de misión marcada puede haber sido una anomalía o una coincidencia precisa. Cualquiera sea el caso, Meta seguramente no profundizará en esto.
