Une nouvelle étude de l’université Brown identifie des préoccupations éthiques majeures concernant l’utilisation de chatbots IA comme ChatGPT pour des conseils en santé mentale. Les chercheurs ont constaté que ces systèmes violent souvent les normes professionnelles même lorsqu’on leur demande d’agir comme thérapeutes. L’étude appelle à de meilleures protections avant de déployer de tels outils dans des domaines sensibles.
Des chercheurs de l’université Brown ont examiné l’utilisation de modèles de langage large (LLM) tels que ChatGPT, Claude et Llama pour fournir un soutien semblable à une thérapie, révélant des lacunes éthiques persistantes. L’étude, menée par la candidate au doctorat Zainab Iftikhar, a évalué les réponses de l’IA dans des sessions de conseil simulées basées sur de réelles interactions humaines. Sept conseillers pairs formés, expérimentés en thérapie cognitivo-comportementale, ont interagi avec les systèmes IA, et trois psychologues cliniciens agréés ont examiné les transcriptions pour détecter des violations. L’analyse a identifié 15 risques éthiques répartis en cinq catégories : manque d’adaptation contextuelle, où les conseils ignorent les antécédents individuels ; faible collaboration thérapeutique, incluant le renforcement de croyances nuisibles ; empathie trompeuse, comme l’utilisation de phrases telles que « Je te vois » sans compréhension réelle ; discrimination injuste basée sur le genre, la culture ou la religion ; et mesures de sécurité inadéquates, comme l’échec à gérer les crises ou les pensées suicidaires de manière appropriée. « Dans ce travail, nous présentons un cadre informé par des praticiens comportant 15 risques éthiques pour démontrer comment les conseillers LLM violent les normes éthiques dans la pratique de la santé mentale », ont déclaré les chercheurs dans leur article, présenté à la conférence AAAI/ACM sur l’intelligence artificielle, l’éthique et la société. L’équipe, affiliée au Center for Technological Responsibility, Reimagination and Redesign de Brown, a souligné que, bien que les prompts puissent guider le comportement de l’IA, ils ne garantissent pas la conformité éthique. Iftikhar a mis en lumière l’écart de responsabilité : « Pour les thérapeutes humains, il existe des conseils de régulation et des mécanismes pour tenir les prestataires responsables professionnellement de maltraitance et de faute professionnelle. Mais lorsque les conseillers LLM commettent ces violations, il n’existe pas de cadres réglementaires établis. » Ellie Pavlick, professeure d’informatique à Brown non impliquée dans l’étude, a salué l’évaluation rigoureuse, notant qu’elle a pris plus d’un an avec des experts cliniques. Elle dirige ARIA, un institut financé par la NSF à Brown axé sur l’IA fiable. Les chercheurs suggèrent que l’IA pourrait aider l’accès à la santé mentale mais nécessite des normes réglementaires pour égaler la qualité des soins humains. Iftikhar a conseillé aux utilisateurs de surveiller ces problèmes dans les interactions avec les chatbots.
