El gigante de la consultoría global Deloitte se enfrenta a un intenso escrutinio después de admitir que utilizó IA generativa en un informe de 440.000 dólares para el gobierno australiano.
La empresa reembolsará 97.000 dólares después de que su análisis basado en IA produjo citas inventadas y errores fácticos significativos, lo que desató un debate sobre la integridad de la consultoría y el uso indebido de la IA.
El informe fue una revisión crítica del bienestar de la nación. sistema de cumplimiento, encargado en diciembre de 2024 por el Departamento de Empleo y Relaciones Laborales (DEWR). El tema era muy delicado, luego del infame escándalo”Robodebt”del país, que hizo que la precisión fuera primordial.
La debacle ahora sirve como un crudo estudio de caso sobre los riesgos de implementar IA generativa sin una supervisión humana rigurosa. Destaca los crecientes problemas que supone la integración de grandes modelos lingüísticos en el trabajo profesional y plantea preguntas urgentes sobre la responsabilidad cuando se utilizan herramientas de inteligencia artificial para dar forma a las políticas públicas.
“Alucinaciones”en las notas al pie
Las fallas del informe fueron expuestas por primera vez en agosto por el Dr. Christopher Rudge, un académico de la Universidad de Sydney, cuya revisión forense, línea por línea, descubrió lo que se considera una violación de integridad y confianza.
Como experto en el campo de la regulación, El Dr. Rudge estaba en una posición única para detectar las anomalías. Encontró más de 20 errores sólo en las notas a pie de página, un patrón que inmediatamente generó señales de alerta.
Sus sospechas se confirmaron cuando encontró citas atribuidas a sus propios colegas. El Dr. Rudge explicó que cuando vio que se atribuían libros a sus colegas de los que nunca había oído hablar, rápidamente concluyó que eran inventados.
No se trataba de errores tipográficos menores, sino de obras completas e inexistentes: una señal clásica de un modelo de IA que inventa con confianza información para llenar vacíos, un fenómeno conocido como”alucinación”.
Uno de los ejemplos más evidentes involucró a la profesora de derecho Lisa Burton Crawford. Si bien su libro real se titula “El Estado de derecho y la Constitución australiana”, el informe de Deloitte citó un trabajo fantasma llamado “El Estado de derecho y la justicia administrativa en el Estado de bienestar, un estudio de Centerlink”.
Cuando se le preguntó si el libro existía, el profesor Crawford fue inequívoco y afirmó: “Nunca he escrito un libro con ese título”.
Las invenciones de la IA se extendió profundamente en las citas legales, creando graves inexactitudes fácticas. El informe hacía referencia errónea a un caso judicial federal clave,”Deanna Amato v Commonwealth”, y citaba erróneamente al juez con un párrafo ficticio de cuatro a cinco líneas.
Según el Dr. Rudge, tales párrafos no existen en el fallo real. En su versión reeditada, Deloitte admitió que el informe”contenía errores”con respecto al procedimiento Amato.
Para socavar aún más la credibilidad del informe, la IA inventó un discurso y lo atribuyó a la”Jueza Natalie Kuis Perry”.
En realidad, el nombre del juez es Melissa, y el discurso en cuestión no existe. Este patrón de generación de información plausible pero completamente falsa demuestra una falla crítica en los procesos de control de calidad y supervisión humana de Deloitte.
Un reembolso parcial y un llamado a la transparencia
Tras la protesta pública, Deloitte volvió a publicar el informe el 3 de octubre. Se agregó un apéndice que revela el uso de un modelo Azure OpenAI GPT-4o. La empresa insistió en que las principales conclusiones y recomendaciones del informe seguían siendo sólidas, aunque acordó reembolsar la última cuota de 97.000 dólares de su contrato.
La respuesta del gobierno fue tajante. Durante una audiencia en el Senado, los funcionarios del DEWR calificaron el trabajo de”inaceptable”. Un portavoz destacó la falla en el control de calidad, afirmando, “mi gente no debería verificar dos veces a un tercero notas a pie de página del proveedor.”
La senadora laborista Deborah O’Neill ofreció una reprimenda particularmente dura: afirma:”Deloitte tiene un problema de inteligencia humana. Esto sería ridículo si no fuera tan lamentable”.
Sugirió que si esta fuera la calidad del trabajo producido, los departamentos gubernamentales podrían estar mejor con una suscripción directa a la IA, y comentó:”quizás, en lugar de una gran empresa de consultoría, los compradores estarían mejor si se suscribieran a ChatGPT”.
Los peligros del “abandono de la IA”en las políticas públicas
Este episodio destaca el problema emergente del “abandono de la IA”: contenido de baja calidad, erróneo o sin sentido generado por la IA y presentado como trabajo fáctico. Cuando dicho contenido se infiltra en documentos destinados a guiar la política gubernamental, los riesgos aumentan.
Dr. Rudge advirtió que las correcciones en sí mismas eran reveladoras. Señaló que las referencias falsas individuales a menudo eran reemplazadas por múltiples referencias nuevas, sugiriendo “la afirmación original hecha en el cuerpo del informe no se basó en ninguna fuente probatoria en particular.”
El escándalo también resalta un desafío creciente: detectar texto generado por IA. Si bien existen herramientas para identificar la escritura de IA, su eficacia es muy debatida.
Esto crea un escenario en el que los informes defectuosos podrían aceptarse como hechos, lo que llevaría a una mala toma de decisiones en los niveles más altos.
