Estudo Revela Falhas do ChatGPT no Resumo da Ciência
Uma nova investigação de jornalistas científicos, publicada em 19 de setembro de 2025, expôs deficiências significativas na capacidade do ChatGPT de resumir artigos científicos com precisão. O estudo testou a IA em centenas de resumos, encontrando erros frequentes em detalhes chave e interpretações. Isso levanta preocupações sobre o uso de modelos de linguagem grandes para tarefas acadêmicas.
Em 19 de setembro de 2025, um relatório colaborativo de uma equipe de jornalistas científicos foi lançado, detalhando uma análise extensa do desempenho do ChatGPT no resumo de artigos científicos revisados por pares. O projeto, iniciado em junho de 2025, envolveu contribuições de especialistas em várias universidades e culminou em achados apresentados em uma conferência de imprensa virtual organizada pela Society of Science Writers.
A linha do tempo começou com a seleção de 500 artigos científicos diversos de áreas como biologia, física e medicina. Jornalistas solicitaram ao ChatGPT resumos desses abstracts em julho e agosto, comparando os resumos da IA com versões de especialistas humanos. No início de setembro, a análise de dados revelou um padrão de imprecisões, levando à divulgação pública no dia 19.
"O ChatGPT frequentemente inventa detalhes que não estão no texto original, o que poderia enganar os pesquisadores," disse a jornalista principal Maria Gonzalez durante a conferência. Outro participante, Dr. Alex Rivera, acrescentou: "Em um caso, a IA inverteu a causalidade em um estudo climático, potencialmente distorcendo a compreensão pública." Essas citações destacam o elemento humano na crítica, derivadas de comparações diretas.
O contexto de fundo do ChatGPT vem de seu lançamento pela OpenAI em 2022, rapidamente adotado para tarefas como escrita e resumo. No entanto, preocupações sobre precisão persistem, com estudos anteriores notando 'alucinações'—informação fabricada. Esse novo relatório se baseia nisso, focando especificamente na literatura científica, onde a precisão é primordial em meio à crescente integração da IA na academia.
As implicações são profundas para educação e pesquisa. Acadêmicamente, isso poderia desencorajar a superdependência de ferramentas de IA, incentivando chamadas por melhores dados de treinamento e transparência dos desenvolvedores. Economicamente, afeta a indústria de tecnologia, avaliada em bilhões, ao destacar necessidades de melhoria para manter a confiança. Em termos de política, pode influenciar regulamentos sobre IA na publicação acadêmica, com possíveis diretrizes de organismos como a National Science Foundation. À medida que a IA evolui, este estudo enfatiza o papel insubstituível da supervisão humana em domínios complexos.
Apesar das críticas, proponentes argumentam que atualizações iterativas poderiam resolver essas falhas. O relatório conclui com recomendações para fluxos de trabalho híbridos humano-IA, sugerindo um caminho adiante em um mundo cada vez mais automatizado.