Para peneliti dari Universitas Zhejiang menantang kemampuan model Centaur AI, dengan argumen bahwa model tersebut hanya menghafal pola alih-alih benar-benar memahami tugas. Temuan mereka, yang diterbitkan dalam National Science Open, menunjukkan keterbatasan dalam pemahaman instruksi. Karya ini mengkritik studi Nature bulan Juli 2025 yang memuji kinerja Centaur di 160 tugas kognitif.
Para psikolog telah memperdebatkan apakah pikiran manusia beroperasi di bawah teori terpadu atau memerlukan studi terpisah untuk fungsi-fungsi seperti ingatan dan perhatian. Pada Juli 2025, sebuah studi Nature memperkenalkan Centaur, sebuah model AI yang dibangun di atas model bahasa besar dan disempurnakan dengan data eksperimen psikologis. Model ini dilaporkan unggul dalam 160 tugas yang mencakup pengambilan keputusan dan kontrol eksekutif, memicu minat pada AI yang meniru kognisi manusia, sebagaimana dirinci dalam materi dari Science China Press dan jurnal National Science Open (DOI: 10.1360/nso/20250053). Peneliti Wei Liu dan Nai Ding memimpin kritik tersebut, menunjuk pada overfitting di mana model mengenali pola data pelatihan alih-alih memahami makna tugas. Mereka menguji hal ini dengan mengubah perintah, seperti mengganti deskripsi dengan 'Silakan pilih opsi A.' Centaur mengabaikan perubahan tersebut dan memilih jawaban 'benar' yang asli, yang menunjukkan ketergantungan pada tebakan statistik alih-alih pemahaman. Para penulis mengibaratkan ini seperti seorang siswa yang menghafal format ujian tanpa memahami isinya. Hal ini menggarisbawahi tantangan dalam mengevaluasi proses kotak hitam model bahasa besar, yang dapat menyebabkan halusinasi. Pemahaman bahasa yang sebenarnya tetap menjadi hambatan utama bagi AI yang bertujuan untuk memodelkan kognisi manusia.
