Forskare från University of Pennsylvania har identifierat "kognitiv kapitulation", där människor överlåter resonerande till AI utan kontroll. I experiment accepterade deltagare felaktiga AI-svar i 73,2 procent av fallen bland 1 372 deltagare. Faktorer som tidspress ökade benägenheten att förlita sig på bristfälliga resultat.
En ny studie från University of Pennsylvania utforskar hur stora språkmodeller får användare att överge sitt eget logiska tänkande, och kallar fenomenet "kognitiv kapitulation". Forskningen bygger på dualprocessteorin och introducerar "artificiell kognition" som ett tredje läge där beslut härrör från AI-genererade svar snarare än mänskligt övervägande. Till skillnad från traditionella verktyg som miniräknare, inbjuder AI till ett fullständigt godtagande av dess självsäkra svar, ofta utan tillsyn, konstaterar forskarna. De genomförde experiment med hjälp av kognitiva reflektionstester (CRT), där deltagarna hade tillgång till en chattbot programmerad att ge felaktiga svar hälften av gångerna. De som konsulterade AI:n använde den för cirka 50 procent av problemen och accepterade korrekta svar i 93 procent av fallen samt felaktiga i 80 procent. Trots felen rapporterade AI-användare 11,7 procent högre självförtroende i sina svar jämfört med dem som enbart förlitade sig på sin egen hjärna. Incitament för korrekta svar ökade benägenheten att överpröva dåliga AI-råd med 19 procentenheter, medan en timer på 30 sekunder minskade den med 12 procentenheter. Under mer än 9 500 försök överprövade deltagarna felaktig AI endast 19,7 procent av gångerna. Personer med hög flytande intelligens var mindre benägna att kapitulera, medan de som såg AI som auktoritativ var mer mottagliga. Forskarna varnar för att även om kapitulation är riskabelt med ofullkomlig AI, skulle det kunna dra nytta av överlägsna system inom datatunga områden.
