A gigante de consultoria global Deloitte está enfrentando intenso escrutínio depois de admitir que usou IA generativa em um relatório de US$ 440 mil para o governo australiano.
A empresa reembolsará US$ 97 mil depois que sua análise baseada em IA produziu citações fabricadas e erros factuais significativos, desencadeando um debate sobre integridade de consultoria e uso indevido de IA.
O relatório foi uma revisão crítica do bem-estar da nação. sistema de conformidade, encomendado em dezembro de 2024 pelo Departamento de Emprego e Relações no Trabalho (DEWR). O assunto era altamente delicado, após o infame escândalo “Robodebt” do país, que tornou a precisão fundamental. riscos de implantar IA generativa sem supervisão humana rigorosa. Ele destaca as dificuldades crescentes da integração de grandes modelos de linguagem no trabalho profissional e levanta questões urgentes sobre a responsabilidade quando ferramentas de IA são usadas para moldar políticas públicas.
“Alucinações”nas notas de rodapé
As falhas do relatório foram expostas pela primeira vez em agosto pelo Dr. Christopher Rudge, um acadêmico da Universidade de Sydney, cuja revisão forense linha por linha revelou o que ele considerada uma quebra significativa de integridade e confiança.
Como especialista na área de regulamentação, o Dr. Rudge estava em uma posição única para detectar as anomalias. Ele encontrou mais de 20 erros apenas nas notas de rodapé, um padrão que imediatamente levantou sinais de alerta.
Suas suspeitas foram confirmadas quando ele encontrou citações atribuídas a seus próprios colegas. Rudge explicou que quando viu que livros eram atribuídos a seus colegas dos quais ele nunca tinha ouvido falar, ele rapidamente concluiu que eles eram fabricados.
Não se tratavam de pequenos erros de digitação, mas de obras inteiras e inexistentes — um sinal clássico de um modelo de IA inventando informações com confiança para preencher lacunas, um fenômeno conhecido como “alucinação”.
Um dos exemplos mais flagrantes envolveu a professora de direito Lisa Burton. Crawford. Embora seu livro real seja intitulado “O Estado de Direito e a Constituição Australiana”, o relatório da Deloitte citou um trabalho fantasma chamado “O Estado de Direito e a Justiça Administrativa no Estado de Bem-Estar, um estudo do Centerlink.”
Quando questionado se o livro existia, o Professor Crawford foi inequívoco, afirmando: “Nunca escrevi um livro com esse título.”profundamente em citações legais, criando sérias imprecisões factuais. O relatório referiu-se erroneamente a um importante processo judicial federal, “Deanna Amato v Commonwealth”, e citou erroneamente o juiz com um parágrafo fictício de quatro a cinco linhas.
De acordo com o Dr. Na sua versão reeditada, a Deloitte admitiu que o relatório “continha erros” relativamente ao processo Amato.
Ao minar ainda mais a credibilidade do relatório, a IA inventou um discurso e atribuiu-o à “Justiça Natalie Kuis Perry”.
Na realidade, o primeiro nome da juíza é Melissa, e o discurso em questão não existe. Esse padrão de geração de informações plausíveis, mas totalmente falsas, demonstra uma falha crítica nos processos de garantia de qualidade e supervisão humana da Deloitte.
Um reembolso parcial e um apelo à transparência
Após o clamor público, a Deloitte reeditou o relatório em 3 de outubro. Um apêndice foi adicionado, revelando o uso de um modelo Azure OpenAI GPT-4o. A empresa insistiu que as principais conclusões e recomendações do relatório permaneceram sólidas, embora tenha concordado em reembolsar a parcela final de 97 mil dólares do seu contrato.
A resposta do governo foi contundente. Durante uma audiência no Senado, os funcionários do DEWR consideraram o trabalho “inaceitável”. Um porta-voz destacou a falha na garantia de qualidade, afirmando: “meu pessoal não deveria verificar novamente um terceiro notas de rodapé do provedor.”
A senadora trabalhista Deborah O’Neill ofereceu uma repreensão particularmente contundente, afirmando:”A Deloitte tem um problema de inteligência humana. Isso seria ridículo se não fosse tão lamentável.”
Ela sugeriu que, se essa fosse a qualidade do trabalho produzido, os departamentos governamentais estariam melhor com uma assinatura direta de IA, observando:”talvez em vez de uma grande empresa de consultoria, os compradores estariam melhor se assinassem uma assinatura do ChatGPT.”
Os perigos do “desperdício de IA” nas políticas públicas
Este episódio destaca o problema emergente do “desperdício de IA”: conteúdo de baixa qualidade, errôneo ou sem sentido gerado pela IA e apresentado como trabalho factual. Quando esse conteúdo se infiltra em documentos destinados a orientar a política governamental, os riscos são ampliados.
Dr. Rudge alertou que as próprias correções eram reveladoras. Ele observou que referências falsas únicas eram frequentemente substituídas por várias novas, sugerindo “a afirmação original feita em o corpo do relatório não se baseou em nenhuma fonte probatória específica.”
O escândalo também destaca um desafio crescente: detectar texto gerado por IA. Embora existam ferramentas para identificar a escrita de IA, sua eficácia é altamente debatida.
Isso cria um cenário em que relatórios falhos podem ser aceitos como fatos, levando a tomadas de decisão inadequadas nos níveis mais altos.
