Un nuevo estudio de la Universidad Brown identifica preocupaciones éticas significativas con el uso de chatbots de IA como ChatGPT para consejos de salud mental. Los investigadores hallaron que estos sistemas violan a menudo los estándares profesionales incluso cuando se les indica actuar como terapeutas. El trabajo reclama mejores salvaguardas antes de implementar tales herramientas en áreas sensibles.
Los investigadores de la Universidad Brown han examinado el uso de modelos de lenguaje grandes (LLMs) como ChatGPT, Claude y Llama para proporcionar apoyo similar a la terapia, revelando deficiencias éticas persistentes. El estudio, liderado por la candidata a doctorado Zainab Iftikhar, evaluó las respuestas de IA en sesiones de consejería simuladas basadas en interacciones humanas reales. Siete consejeros pares capacitados, con experiencia en terapia cognitivo-conductual, interactuaron con los sistemas de IA, y tres psicólogos clínicos con licencia revisaron las transcripciones en busca de violaciones. Los análisis identificaron 15 riesgos éticos en cinco categorías: falta de adaptación contextual, donde los consejos ignoran los antecedentes individuales; pobre colaboración terapéutica, que incluye el refuerzo de creencias dañinas; empatía engañosa, como el uso de frases como 'Te veo' sin una comprensión real; discriminación injusta basada en género, cultura o religión; y medidas de seguridad inadecuadas, como el fracaso en manejar crisis o pensamientos suicidas de manera apropiada. 'En este trabajo, presentamos un marco informado por profesionales con 15 riesgos éticos para demostrar cómo los consejeros basados en LLMs violan los estándares éticos en la práctica de la salud mental', declararon los investigadores en su artículo, presentado en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad. El equipo, afiliado al Centro de Responsabilidad Tecnológica, Reimaginación y Rediseño de Brown, enfatizó que, aunque los prompts pueden guiar el comportamiento de la IA, no garantizan el cumplimiento ético. Iftikhar resaltó la brecha de responsabilidad: 'Para los terapeutas humanos, existen juntas reguladoras y mecanismos para que los proveedores sean responsabilizados profesionalmente por maltrato y negligencia profesional. Pero cuando los consejeros basados en LLMs cometen estas violaciones, no hay marcos regulatorios establecidos.' Ellie Pavlick, profesora de informática de Brown no involucrada en el estudio, elogió la evaluación rigurosa, señalando que tomó más de un año con expertos clínicos. Ella dirige ARIA, un instituto financiado por la NSF en Brown enfocado en IA confiable. Los investigadores sugieren que la IA podría ayudar al acceso a la salud mental, pero requiere estándares regulatorios para igualar la calidad del cuidado humano. Iftikhar aconsejó a los usuarios estar atentos a estos problemas en las interacciones con chatbots.
