Pesquisadores da Universidade de Zhejiang desafiaram as capacidades do modelo Centaur AI, argumentando que ele memoriza padrões em vez de realmente compreender as tarefas. Suas descobertas, publicadas na revista National Science Open, sugerem limitações na compreensão de instruções. O trabalho critica um estudo de julho de 2025 da Nature que elogiava o desempenho da Centaur em 160 tarefas cognitivas.
Psicólogos debatem se a mente humana opera sob uma teoria unificada ou se requer estudos separados de funções como memória e atenção. Em julho de 2025, um estudo da Nature apresentou a Centaur, um modelo de IA construído sobre modelos de linguagem de grande escala e refinado com dados de experimentos psicológicos. O modelo teria se destacado em 160 tarefas abrangendo tomada de decisão e controle executivo, despertando interesse na IA que mimetiza a cognição humana, conforme detalhado em materiais da Science China Press e do periódico National Science Open (DOI: 10.1360/nso/20250053). Os pesquisadores Wei Liu e Nai Ding lideraram a crítica, apontando para um sobreajuste (overfitting) em que o modelo reconhece padrões de dados de treinamento em vez de captar os significados das tarefas. Eles testaram isso alterando comandos, como substituir descrições por 'Por favor, escolha a opção A.' A Centaur ignorou a mudança e escolheu as respostas 'corretas' originais, indicando uma dependência de palpites estatísticos em vez de compreensão. Os autores compararam isso a um aluno que memoriza formatos de prova sem entender o conteúdo. Isso ressalta os desafios na avaliação dos processos de 'caixa-preta' de modelos de linguagem de grande escala, que podem levar a alucinações. A verdadeira compreensão da linguagem continua sendo um obstáculo fundamental para a IA que visa modelar a cognição humana.
