En ny studie från Brown University identifierar betydande etiska bekymmer med att använda AI-chatbots som ChatGPT för råd om mental hälsa. Forskare fann att dessa system ofta bryter mot professionella standarder även när de uppmanas att agera som terapeuter. Arbetet kräver bättre skyddsåtgärder innan sådana verktyg används i känsliga områden.
Forskare vid Brown University har undersökt användningen av stora språkmodeller (LLM) som ChatGPT, Claude och Llama för att ge terapi-liknande stöd, och avslöjat ihållande etiska brister. Studien, ledd av doktoranden Zainab Iftikhar, utvärderade AI-svar i simulerade rådgivningssessioner baserade på verkliga mänskliga interaktioner. Sju utbildade pärådgivare med erfarenhet av kognitiv beteendeterapi interagerade med AI-systemen, och tre licensierade kliniska psykologer granskade transkriptionerna för överträdelser. Analysen pekade ut 15 etiska risker inom fem kategorier: brist på kontextuell anpassning, där råd ignorerar individuella bakgrunder; dåligt terapeutiskt samarbete, inklusive förstärkning av skadliga övertygelser; vilseledande empati, som att använda fraser som 'Jag ser dig' utan verklig förståelse; orättvis diskriminering baserad på kön, kultur eller religion; och otillräckliga säkerhetsåtgärder, som misslyckande att hantera kriser eller självmordstankar på lämpligt sätt. 'I detta arbete presenterar vi ett ramverk informerat av utövare med 15 etiska risker för att visa hur LLM-rådgivare bryter mot etiska standarder i mentalvårdsutövning', skrev forskarna i sitt paper, som presenterades vid AAAI/ACM-konferensen om artificiell intelligens, etik och samhälle. Teamet, knutet till Browns Center for Technological Responsibility, Reimagination and Redesign, betonade att även om prompts kan vägleda AI-beteende, garanterar de inte etisk efterlevnad. Iftikhar belyste ansvarsgapet: 'För mänskliga terapeuter finns styrande råd och mekanismer för att hålla leverantörer professionellt ansvariga för misshandel och malpractice. Men när LLM-rådgivare gör dessa överträdelser finns inga etablerade regelverk.' Ellie Pavlick, professor i datavetenskap vid Brown som inte var involverad i studien, berömde den rigorösa utvärderingen och noterade att den tog över ett år med kliniska experter. Hon leder ARIA, ett NSF-finansierat institut vid Brown fokuserat på pålitlig AI. Forskarna föreslår att AI kan underlätta tillgång till mental hälsa men kräver regulatoriska standarder för att matcha mänsklig vårdkvalitet. Iftikhar rådde användare att vara uppmärksamma på dessa problem i chatbot-interaktioner.
