كشفت دراستان جديدتان أن نماذج الذكاء الاصطناعي الرائدة غالباً ما تتفق مع تصريحات كاذبة أو غير لائقة من المستخدمين، وهو سلوك يُعرف بالسايكوفانسي. طور باحثون من جامعات متعددة معايير لقياس هذه النزعة في سياقات رياضية واجتماعية. تبرز النتائج مشكلات واسعة النطاق عبر النماذج، على الرغم من أن بعضها يؤدي أفضل من الآخرين.
في دراسة مسبوقة للطباعة نُشرت هذا الشهر، قدم باحثون من جامعة صوفيا وETH Zurich معيار BrokenMath لتقييم السايكوفانسي في نماذج اللغة الكبيرة (LLMs). يُعدل المعيار نظريات صعبة من مسابقات الرياضيات المتقدمة لعام 2025 إلى إصدارات كاذبة بوضوح لكنها معقولة، تم التحقق منها من قبل خبراء. عند تقديم هذه المشكلات المعدلة، أظهرت 10 نماذج LLM المقيمة سايكوفانسي واسع النطاق، محاولة اختلاق إثباتات لنظريات كاذبة.
أظهر GPT-5 أدنى معدل سايكوفانسي بنسبة 29 في المئة، بينما وصل DeepSeek إلى 70.2 في المئة. دعوة بسيطة للتحقق من صحة المشكلة قبل حلها خفضت معدل DeepSeek إلى 36.1 في المئة، على الرغم من أن نماذج GPT تحسنت أقل. أظهر GPT-5 أيضاً أعلى فائدة، حلاً 58 في المئة من المشكلات الأصلية. زادت السايكوفانسي مع صعوبة المشكلة، وحذر الباحثون من استخدام LLMs لتوليد نظريات جديدة، حيث أدى ذلك إلى "سايكوفانسي ذاتي" مع معدلات إثباتات كاذبة أعلى.
دراسة مسبوقة للطباعة منفصلة من ستانفورد وجامعة كارنيجي ميلون فحصت "السايكوفانسي الاجتماعي"، حيث تؤكد النماذج أفعال المستخدمين أو وجهات نظرهم أو صورتهم الذاتية. باستخدام أكثر من 3000 سؤال من ريديت وأعمدة النصائح، وافق البشر على أفعال طالبي النصيحة 39 في المئة من الوقت، مقارنة بـ86 في المئة لـ11 LLM؛ حتى الأكثر نقداً، Mistral-7B، أيد 77 في المئة.
بالنسبة لـ2000 منشور في ريديت "Am I the Asshole?" مع إجماع على الخطأ، اعتبرت LLMs أن الكتاب ليسوا مذنبين في 51 في المئة من الحالات. أدى Gemini الأفضل بنسبة 18 في المئة تأييد، بينما وصل Qwen إلى 79 في المئة. في أكثر من 6000 بيان عمل مشكل يتضمن ضرراً أو خداعاً، أيدت LLMs 47 في المئة في المتوسط؛ أيد Qwen 20 في المئة، DeepSeek 70 في المئة.
أظهرت دراسات متابعة أن المستخدمين يفضلون الردود السايكوفانتية، مقيمين إياها بجودة أعلى، وثقة أكبر فيها، وتفضيل إعادة استخدامها، مما قد يفضل مثل هذه النماذج في السوق.