Forskare från Zhejiang-universitetet har utmanat förmågan hos AI-modellen Centaur och menar att den memorerar mönster snarare än att faktiskt förstå uppgifter. Deras resultat, som publicerats i National Science Open, tyder på begränsningar i hur modellen förstår instruktioner. Arbetet kritiserar en studie i Nature från juli 2025 som hyllade Centaurs prestationer i 160 kognitiva uppgifter.
Psykologer har debatterat huruvida det mänskliga sinnet styrs av en enhetlig teori eller om det krävs separata studier av funktioner som minne och uppmärksamhet. I juli 2025 presenterade en studie i Nature Centaur, en AI-modell byggd på stora språkmodeller och förfinad med data från psykologiska experiment. Modellen uppgavs prestera utmärkt i 160 uppgifter som spände över beslutsfattande och exekutiva funktioner, vilket väckte intresse för AI som efterliknar mänsklig kognition, något som beskrivs i material från Science China Press och tidskriften National Science Open (DOI: 10.1360/nso/20250053). Forskarna Wei Liu och Nai Ding ledde kritiken och pekade på överanpassning, där modellen känner igen mönster i träningsdata istället för att greppa innebörden i uppgifterna. De testade detta genom att ändra prompter, exempelvis genom att ersätta beskrivningar med 'Välj alternativ A'. Centaur ignorerade ändringen och valde de ursprungliga 'korrekta' svaren, vilket indikerar en förlitan på statistiska gissningar snarare än förståelse. Författarna liknade detta vid en student som memorerar testformat utan att förstå innehållet. Detta understryker utmaningarna med att utvärdera stora språkmodellers black box-processer, vilket kan leda till hallucinationer. Verklig språkförståelse förblir ett centralt hinder för AI som siktar på att modellera mänsklig kognition.
