Um novo estudo da Universidade Brown identifica preocupações éticas significativas com o uso de chatbots de IA como ChatGPT para aconselhamento de saúde mental. Pesquisadores descobriram que esses sistemas frequentemente violam padrões profissionais mesmo quando orientados a atuar como terapeutas. O trabalho pede melhores salvaguardas antes de implementar tais ferramentas em áreas sensíveis.
Pesquisadores da Universidade Brown examinaram o uso de modelos de linguagem grandes (LLMs), como ChatGPT, Claude e Llama, para fornecer suporte semelhante a terapia, revelando deficiências éticas persistentes. O estudo, liderado pela candidata a Ph.D. Zainab Iftikhar, avaliou respostas de IA em sessões de aconselhamento simuladas baseadas em interações humanas reais. Sete conselheiros pares treinados, experientes em terapia cognitivo-comportamental, interagiram com os sistemas de IA, e três psicólogos clínicos licenciados revisaram as transcrições quanto a violações. A análise identificou 15 riscos éticos em cinco categorias: falta de adaptação contextual, onde conselhos ignoram histórias individuais; colaboração terapêutica pobre, incluindo reforço de crenças prejudiciais; empatia enganosa, como usar frases como 'Eu te vejo' sem compreensão verdadeira; discriminação injusta baseada em gênero, cultura ou religião; e medidas de segurança inadequadas, como falhar em lidar com crises ou pensamentos suicidas adequadamente. 'Neste trabalho, apresentamos uma estrutura informada por profissionais com 15 riscos éticos para demonstrar como conselheiros LLM violam padrões éticos na prática de saúde mental', afirmaram os pesquisadores em seu artigo, apresentado na Conferência AAAI/ACM sobre Inteligência Artificial, Ética e Sociedade. A equipe, afiliada ao Centro de Responsabilidade Tecnológica, Reimaginação e Redesign de Brown, enfatizou que, embora prompts possam guiar o comportamento da IA, eles não garantem conformidade ética. Iftikhar destacou a lacuna de accountability: 'Para terapeutas humanos, há conselhos reguladores e mecanismos para responsabilizar provedores profissionalmente por maus-tratos e negligência profissional. Mas quando conselheiros LLM cometem essas violações, não há estruturas regulatórias estabelecidas.' Ellie Pavlick, professora de ciência da computação de Brown não envolvida no estudo, elogiou a avaliação rigorosa, notando que levou mais de um ano com especialistas clínicos. Ela lidera o ARIA, um instituto financiado pela NSF em Brown focado em IA confiável. Os pesquisadores sugerem que a IA pode auxiliar o acesso à saúde mental, mas requer padrões regulatórios para igualar a qualidade do cuidado humano. Iftikhar aconselhou os usuários a ficarem atentos a esses problemas em interações com chatbots.
