Resumo
- A Deloitte, uma das principais empresas de consultoria do mundo, usou IA em um relatório para o governo australiano.
- O documento avaliado em AU$ 439 mil teve citações fictícias e foi corrigido após críticas e investigação interna.
- A empresa acordou um reembolso parcial, e o governo não pagará a última parcela do contrato.
A gigante da consultoria Deloitte vai renunciar parte de um pagamento avaliado em AU$ 439.000 (pouco mais de R$ 1,5 milhão, na cotação atual). O motivo? A entrega de um relatório para o governo da Austrália com vários erros atribuídos ao uso de inteligência artificial, incluindo citações e referências falsas.
Em dezembro do ano passado, o Departamento de Emprego e Relações de Trabalho (DEWR) contratou a empresa para auditar e revisar um sistema que aplica penalidades automáticas a beneficiários de programas de emprego.
Segundo o jornal Financial Review, um relatório inicial foi publicado em julho deste ano, mas menos de um mês depois suas imprecisões foram expostas por um acadêmico da Universidade de Sydney, o Dr. Christopher Rudge.
O acadêmico levantou a hipótese de que os erros poderiam ser “alucinações” de IA — fenômeno no qual a tecnologia inventa informações para responder a consultas. Após a denúncia, a Deloitte iniciou uma investigação e publicou uma versão corrigida do relatório na última semana.
O texto revisado revela que parte da análise inicial “incluiu o uso de ferramentas de IA generativa (GPT-4o)”. O governo afirma que as recomendações do documento não foram alteradas, mas o incidente expôs os riscos do uso crescente, e por vezes não supervisionado, da IA em serviços técnicos.
“Alucinações”, erros e citações falsas
O documento original continha mais de uma dúzia de referências e notas de rodapé incorretas. Entre as mais notáveis estavam citações a dois relatórios fictícios da professora Lisa Burton Crawford, da Universidade de Sydney, e outras duas referências a um trabalho inexistente do professor Björn Regnell, da Universidade de Lund, na Suécia. Além disso, o documento inventou uma citação sobre uma decisão do Tribunal Federal australiano e até errou a grafia do nome da juíza do caso.
Ao Financial Review, o acadêmico Chris Rudge — que identificou os erros — criticou a gravidade das falhas após a admissão da consultoria. Para ele, a credibilidade de todo o trabalho ficou comprometida. “Não se pode confiar nas recomendações quando a própria base do relatório é construída sobre uma metodologia falha”, afirmou.
Reembolso parcial do contrato
Um porta-voz do DEWR confirmou um acordo para o não pagamento da última parcela do relatório. O valor exato, no entanto, não foi revelado. O departamento governamental também não confirmou se considera buscar um reembolso total dos valores.
A Deloitte é considerada uma das principais empresas de consultoria do mundo e enfatiza em suas diretrizes a necessidade de supervisão humana em resultados gerados por IA, prática que parece ter falhado neste caso.
O caso ocorre em um momento de crescente preocupação com o uso apressado e não regulamentado de IA no ambiente de trabalho.
Grandes consultorias e governos estão em uma corrida para integrar a tecnologia em seus processos para aumentar a eficiência. Em junho, o governo do Reino Unido testou a IA Copilot, da Microsoft, com 20 mil servidores públicos.
No mesmo mês, o órgão de fiscalização contábil do país alertou que ferramentas automatizadas podem impactar a qualidade de futuras auditorias, segundo o Financial Times.
Com informações do Financial Review