Resumo
-
Estudo da BBC em parceria com a União Europeia de Radiodifusão revela que IAs ainda falham gravemente ao resumir notícias.
-
O Gemini, do Google, foi o sistema que registrou mais erros e imprecisões nas respostas (76%).
-
Ainda assim, a confiança do público em resumos de IA cresceu, segundo a pesquisa.
Um levantamento conduzido pela BBC em parceria com a União Europeia de Radiodifusão (EBU) revelou que os principais assistentes de inteligência artificial do mercado ainda estão longe de oferecer resumos jornalísticos confiáveis.
O estudo analisou mais de 3 mil respostas geradas por ferramentas como ChatGPT (OpenAI), Copilot (Microsoft), Gemini (Google) e Perplexity, concluindo que 45% das respostas continham erros significativos — desde informações incorretas até fontes problemáticas.
Segundo o estudo, 31% das respostas apresentaram sérios problemas de atribuição de fontes, enquanto 20% incluíam imprecisões graves, como dados desatualizados ou fatos inventados. Quando considerados deslizes menores, o índice de respostas com algum tipo de erro chegou a 81%. O Gemini, do Google, foi o pior avaliado, com falhas identificadas em 76% das respostas, o dobro da taxa registrada entre os concorrentes.
Os pesquisadores apontaram que a principal causa dos erros está na forma como esses sistemas lidam com informações recentes e fontes externas. O Gemini, por exemplo, apresentou imprecisões em 72% das respostas, número três vezes maior que o do ChatGPT (24%).
Alguns casos curiosos foram citados: uma resposta do ChatGPT chegou a afirmar que o papa Francisco ainda estava vivo semanas após sua morte, enquanto o Gemini garantiu que nenhum astronauta da NASA jamais ficou preso no espaço — algo que já aconteceu.
O estudo é considerado o maior do tipo já realizado, com a participação de 22 veículos públicos de comunicação de 18 países. Ele surge pouco depois de a OpenAI admitir que seus modelos tendem a responder com confiança mesmo quando não têm certeza, comportamento que incentiva o que especialistas chamam de alucinações — invenções de fatos ou detalhes falsos.
Apesar das falhas, o uso de chatbots para consumir notícias cresceu. Uma pesquisa paralela do instituto Ipsos, também em parceria com a BBC, mostrou que 42% das pessoas no Reino Unido, onde o estudo foi conduzido, confiam em resumos gerados por IA. Entre os jovens abaixo de 35 anos, o número chega a 50%. No entanto, 84% disseram que perderiam a confiança se identificassem apenas um erro factual.