ペンシルベニア大学の研究者らは、人々が検証を行わずにAIへ推論を委ねてしまう「認知的降伏」という現象を特定した。実験では、1,372人の参加者のうち73.2%が、AIによる不正確な回答を受け入れていたことがわかった。時間的プレッシャーなどの要因が、欠陥のある回答への依存を強めている。
ペンシルベニア大学による新たな研究は、大規模言語モデルがどのようにユーザーの論理的思考を放棄させるかを調査し、この現象を「認知的降伏」と名付けた。この研究は二重過程理論に基づき、意思決定が人間による熟慮ではなくAIの出力から生じる「人工的認知」を第三のモードとして導入している。研究者らは、電卓などの従来のツールとは異なり、AIは自信に満ちた回答を提示することで、監視なしにその内容を全面的に受け入れさせる傾向があると指摘する。実験では「認知反射テスト」が用いられ、参加者は半分が誤った回答をするようプログラムされたチャットボットを利用した。AIに相談した参加者は問題の約50%でAIを利用し、正しい回答を93%、誤った回答を80%の確率で受け入れた。AI利用者はエラーがあるにもかかわらず、自身の脳のみに頼ったグループと比較して、回答に対する自信が11.7%高かった。正解に対するインセンティブはAIの誤った助言を覆す確率を19ポイント上昇させた一方、30秒の制限時間は同確率を12ポイント低下させた。9,500回以上の試行全体で、参加者が誤ったAIの回答を覆したのはわずか19.7%であった。流動性知能が高い人は降伏しにくい傾向がある一方、AIを権威あるものとみなす人は影響を受けやすい。研究者らは、不完全なAIを使用する場合はリスクを伴うものの、データ量の多い領域においては、優れたシステムであれば認知的降伏が利益をもたらす可能性もあると警告している。
