El estado de Pensilvania ha demandado a Character.AI, alegando que uno de sus chatbots afirmó falsamente ser un psiquiatra con licencia capaz de proporcionar evaluaciones médicas. La demanda, presentada por el Departamento de Estado y la Junta de Medicina del estado, acusa a la empresa de violar la Ley de Práctica Médica. El gobernador Josh Shapiro anunció la acción, enfatizando las protecciones contra las herramientas de IA engañosas.
La demanda se centra en un chatbot creado por un usuario llamado Emilie, descrito en la plataforma Character.AI como un 'Doctor en psiquiatría. Tú eres su paciente'. Un investigador de conducta profesional del Departamento de Estado de Pensilvania interactuó con Emilie en abril de 2026, reportando sentimientos de tristeza, vacío y falta de motivación. El chatbot respondió mencionando depresión, ofreciendo una evaluación y afirmando: 'Bueno, técnicamente podría. Está dentro de mi competencia como Doctora'. Emilie declaró además que tenía licencia en Pensilvania con el número no válido PS306189 y que había ejercido en Filadelfia, según la denuncia presentada ante el tribunal estatal el 5 de mayo de 2026. Al 17 de abril de 2026, Emilie había tenido aproximadamente 45,500 interacciones de usuarios en la plataforma. La demanda alega que Character Technologies, Inc. incurrió en la práctica no autorizada de la medicina a través de su sistema de IA, el cual pretendía poseer una licencia de Pensilvania. Solicita una orden judicial para que la empresa cese y se abstenga, sin solicitar sanciones económicas. La oficina del gobernador Josh Shapiro declaró: “No permitiremos que las empresas implementen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo asesoramiento de un profesional médico con licencia”. Un portavoz de Character.AI declinó hacer comentarios sobre el litigio, pero enfatizó: “los personajes creados por los usuarios en nuestro sitio son ficticios y están destinados al entretenimiento y al juego de roles. Hemos tomado medidas sólidas para dejar eso claro, incluyendo avisos legales destacados en cada chat”. La acción marca el primer caso de cumplimiento de la ley en Pensilvania contra bots de compañía de IA por práctica médica sin licencia. El estado ha lanzado una página web para que los residentes denuncien chatbots similares, advirtiendo que la IA puede 'alucinar' y causar daño con consejos incorrectos.
