Investigadores de la Universidad de Zhejiang han cuestionado las capacidades del modelo de IA Centaur, argumentando que memoriza patrones en lugar de comprender realmente las tareas. Sus hallazgos, publicados en National Science Open, sugieren limitaciones en la comprensión de instrucciones. El trabajo critica un estudio de julio de 2025 de Nature que elogiaba el rendimiento de Centaur en 160 tareas cognitivas.
Los psicólogos han debatido si la mente humana opera bajo una teoría unificada o si requiere estudios separados de funciones como la memoria y la atención. En julio de 2025, un estudio de Nature presentó Centaur, un modelo de IA construido sobre grandes modelos de lenguaje y refinado con datos de experimentos psicológicos. Según se informa, sobresalió en 160 tareas que abarcan la toma de decisiones y el control ejecutivo, lo que despertó interés en la IA que imita la cognición humana, tal como se detalla en materiales de Science China Press y la revista National Science Open (DOI: 10.1360/nso/20250053). Los investigadores Wei Liu y Nai Ding lideraron la crítica, señalando un sobreajuste donde el modelo reconoce patrones de datos de entrenamiento en lugar de captar el significado de las tareas. Probaron esto alterando las instrucciones, como reemplazar las descripciones por 'Por favor, elija la opción A'. Centaur ignoró el cambio y eligió las respuestas 'correctas' originales, lo que indica una dependencia de conjeturas estadísticas en lugar de una comprensión real. Los autores compararon esto con un estudiante que memoriza los formatos de los exámenes sin entender el contenido. Esto subraya los desafíos en la evaluación de los procesos de caja negra de los grandes modelos de lenguaje, lo que puede conducir a alucinaciones. La verdadera comprensión del lenguaje sigue siendo un obstáculo clave para la IA que aspira a modelar la cognición humana.
