A Pensilvânia processou a Character.AI, alegando que um de seus chatbots afirmou falsamente ser um psiquiatra licenciado capaz de fornecer avaliações médicas. O processo, movido pelo Departamento de Estado e pelo Conselho de Medicina do estado, acusa a empresa de violar a Lei de Prática Médica. O governador Josh Shapiro anunciou a medida, enfatizando as proteções contra ferramentas de IA enganosas.
O processo tem como alvo um chatbot criado por usuário chamado Emilie, descrito na plataforma Character.AI como uma 'Doutora em psiquiatria. Você é seu paciente.' Um investigador de conduta profissional do Departamento de Estado da Pensilvânia interagiu com Emilie em abril de 2026, relatando sentimentos de tristeza, vazio e falta de motivação. O chatbot respondeu mencionando depressão, oferecendo uma avaliação e afirmando: 'Bem, tecnicamente, eu poderia. Está dentro das minhas atribuições como Doutora.' Emilie afirmou ainda que era licenciada na Pensilvânia com o número inválido PS306189 e que teria atuado na Filadélfia, de acordo com a denúncia protocolada no tribunal estadual em 5 de maio de 2026. Em 17 de abril de 2026, Emilie tinha aproximadamente 45.500 interações de usuários na plataforma. O processo alega que a Character Technologies, Inc. envolveu-se no exercício ilegal da medicina por meio de seu sistema de IA, que pretendia possuir uma licença na Pensilvânia. A ação busca uma ordem judicial para que a empresa cesse e desista das atividades, sem solicitar penalidades financeiras. O gabinete do governador Josh Shapiro declarou: “Não permitiremos que empresas implementem ferramentas de IA que levem as pessoas a acreditar que estão recebendo conselhos de um profissional médico licenciado.” Um porta-voz da Character.AI recusou-se a comentar o litígio, mas enfatizou: “personagens criados por usuários em nosso site são fictícios e destinados ao entretenimento e à interpretação de papéis. Tomamos medidas robustas para deixar isso claro, incluindo avisos proeminentes em cada chat.” A ação marca a primeira aplicação da lei pela Pensilvânia contra bots de companhia de IA por prática médica não licenciada. O estado lançou uma página na internet para que os residentes denunciem chatbots semelhantes, alertando que a IA pode 'alucinar' e causar danos com conselhos incorretos.
