Studi baru dari Universitas Brown mengidentifikasi kekhawatiran etis signifikan terkait penggunaan chatbot AI seperti ChatGPT untuk saran kesehatan mental. Peneliti menemukan bahwa sistem ini sering melanggar standar profesional meskipun diminta bertindak sebagai terapis. Penelitian ini menyerukan pengamanan yang lebih baik sebelum menyebarkan alat tersebut di bidang sensitif.
Peneliti di Universitas Brown telah meneliti penggunaan model bahasa besar (LLM) seperti ChatGPT, Claude, dan Llama dalam memberikan dukungan mirip terapi, mengungkap kekurangan etis yang persisten. Studi yang dipimpin oleh kandidat Ph.D. Zainab Iftikhar tersebut mengevaluasi respons AI dalam sesi konseling simulasi berdasarkan interaksi manusia nyata. Tujuh konselor sebaya terlatih yang berpengalaman dalam terapi perilaku kognitif berinteraksi dengan sistem AI, dan tiga psikolog klinis berlisensi meninjau transkrip untuk pelanggaran. Analisis tersebut mengidentifikasi 15 risiko etis di lima kategori: kurangnya adaptasi konteks, di mana saran mengabaikan latar belakang individu; kolaborasi terapeutik yang buruk, termasuk penguatan keyakinan berbahaya; empati menipu, seperti menggunakan frasa seperti 'Saya melihatmu' tanpa pemahaman sejati; diskriminasi tidak adil berdasarkan gender, budaya, atau agama; dan langkah keamanan yang tidak memadai, seperti gagal menangani krisis atau pikiran bunuh diri dengan tepat. 'Dalam karya ini, kami menyajikan kerangka yang diinformasikan oleh praktisi dengan 15 risiko etis untuk menunjukkan bagaimana konselor LLM melanggar standar etis dalam praktik kesehatan mental,' tulis para peneliti dalam makalah mereka yang disajikan di Konferensi AAAI/ACM tentang Kecerdasan Buatan, Etika, dan Masyarakat. Tim tersebut, yang berafiliasi dengan Pusat Tanggung Jawab Teknologi, Reimajinasi, dan Redesign Brown, menekankan bahwa meskipun prompt dapat membimbing perilaku AI, mereka tidak menjamin kepatuhan etis. Iftikhar menyoroti kesenjangan akuntabilitas: 'Untuk terapis manusia, ada dewan pengatur dan mekanisme untuk mempertanggungjawabkan penyedia secara profesional atas penyalahgunaan dan malpraktik. Tetapi ketika konselor LLM melakukan pelanggaran ini, tidak ada kerangka regulasi yang mapan.' Ellie Pavlick, profesor ilmu komputer Brown yang tidak terlibat dalam studi, memuji evaluasi yang ketat, mencatat bahwa itu memakan waktu lebih dari setahun dengan pakar klinis. Ia memimpin ARIA, lembaga yang didanai NSF di Brown yang fokus pada AI yang dapat dipercaya. Para peneliti menyarankan AI dapat membantu akses kesehatan mental tetapi memerlukan standar regulasi untuk menyamai kualitas perawatan manusia. Iftikhar menasihati pengguna untuk waspada terhadap isu-isu ini dalam interaksi chatbot.
