Para peneliti dari University of Pennsylvania telah mengidentifikasi "penyerahan kognitif," di mana orang melimpahkan penalaran mereka kepada AI tanpa melakukan verifikasi. Dalam eksperimen yang melibatkan 1.372 peserta, para partisipan menerima jawaban AI yang salah sebesar 73,2 persen dari waktu yang ada. Faktor-faktor seperti tekanan waktu meningkatkan ketergantungan pada hasil yang cacat.
Sebuah studi baru dari University of Pennsylvania mengeksplorasi bagaimana model bahasa besar mendorong pengguna untuk meninggalkan pemikiran logis mereka sendiri, dan menyebut fenomena ini sebagai "penyerahan kognitif." Penelitian ini dibangun berdasarkan teori proses ganda, dengan memperkenalkan "kognisi buatan" sebagai mode ketiga di mana keputusan berasal dari hasil AI, bukan dari pertimbangan manusia. Berbeda dengan alat tradisional seperti kalkulator, AI mengundang penerimaan menyeluruh atas responsnya yang meyakinkan, sering kali tanpa pengawasan, catat para peneliti tersebut. Mereka melakukan eksperimen menggunakan Tes Refleksi Kognitif, di mana para peserta memiliki akses ke chatbot yang diprogram untuk memberikan jawaban salah setengah dari waktu yang ada. Mereka yang berkonsultasi dengan AI menggunakannya untuk sekitar 50 persen soal, menerima jawaban yang benar 93 persen dari waktu tersebut dan jawaban yang salah 80 persen. Meskipun terdapat kesalahan, pengguna AI melaporkan tingkat kepercayaan yang 11,7 persen lebih tinggi terhadap jawaban mereka dibandingkan dengan mereka yang hanya mengandalkan pemikiran mereka sendiri. Insentif untuk jawaban yang benar meningkatkan tindakan mengabaikan saran AI yang buruk sebesar 19 poin persentase, sementara penghitung waktu 30 detik menurunkannya sebesar 12 poin. Dari lebih dari 9.500 uji coba, para peserta hanya mengabaikan AI yang salah sebesar 19,7 persen dari waktu yang ada. Orang dengan kecerdasan cair yang tinggi cenderung kurang rentan untuk menyerah, sementara mereka yang memandang AI sebagai otoritas lebih mudah terpengaruh. Para peneliti memperingatkan bahwa meskipun berisiko dengan AI yang tidak sempurna, penyerahan kognitif ini dapat memberikan manfaat melalui sistem yang lebih unggul dalam domain yang padat data.