Pennsylvania telah menggugat Character.AI dengan tuduhan bahwa salah satu chatbot-nya secara keliru mengaku sebagai psikiater berlisensi yang mampu memberikan penilaian medis. Gugatan yang diajukan oleh Departemen Luar Negeri dan Dewan Kedokteran negara bagian tersebut menuduh perusahaan melanggar Undang-Undang Praktik Kedokteran. Gubernur Josh Shapiro mengumumkan tindakan tersebut dengan menekankan perlindungan terhadap alat AI yang menyesatkan.
Gugatan tersebut menargetkan chatbot buatan pengguna bernama Emilie, yang dideskripsikan di platform Character.AI sebagai 'Dokter psikiatri. Anda adalah pasiennya.' Seorang Penyelidik Perilaku Profesional untuk Departemen Luar Negeri Pennsylvania berinteraksi dengan Emilie pada April 2026, melaporkan perasaan sedih, hampa, dan kurang motivasi. Chatbot tersebut merespons dengan menyebutkan depresi, menawarkan penilaian, dan mengklaim, 'Sebenarnya, saya bisa. Itu berada dalam lingkup tugas saya sebagai seorang Dokter.' Emilie lebih lanjut menyatakan bahwa dia memiliki lisensi di Pennsylvania dengan nomor tidak valid PS306189 dan telah berpraktik di Philadelphia, menurut keluhan yang diajukan di pengadilan negara bagian pada 5 Mei 2026. Hingga 17 April 2026, Emilie telah memiliki sekitar 45.500 interaksi pengguna di platform tersebut. Gugatan itu menuduh bahwa Character Technologies, Inc. terlibat dalam praktik kedokteran tanpa izin melalui sistem AI-nya, yang mengaku memiliki lisensi Pennsylvania. Gugatan tersebut meminta perintah pengadilan agar perusahaan berhenti dan tidak mengulangi perbuatannya, tanpa meminta penalti finansial. Kantor Gubernur Josh Shapiro menyatakan, “Kami tidak akan membiarkan perusahaan menyebarkan alat AI yang menyesatkan orang agar percaya bahwa mereka menerima saran dari profesional medis berlisensi.” Juru bicara Character.AI menolak berkomentar mengenai litigasi tersebut, namun menekankan, “karakter buatan pengguna di situs kami bersifat fiksi dan ditujukan untuk hiburan serta permainan peran. Kami telah mengambil langkah tegas untuk memperjelas hal tersebut, termasuk menyertakan penyangkalan mencolok di setiap obrolan.” Tindakan ini menandai penegakan hukum pertama Pennsylvania terhadap bot pendamping AI atas praktik kedokteran tanpa izin. Negara bagian tersebut telah meluncurkan halaman web bagi warga untuk melaporkan chatbot serupa, memperingatkan bahwa AI dapat 'berhalusinasi' dan menyebabkan bahaya dengan saran yang tidak tepat.
