ペンシルベニア州は、Character.AIのチャットボットの一つが、医学的評価を提供できる認定精神科医であると偽ったとして、同社を提訴した。州務省および医療委員会が提起したこの訴訟では、同社が医療行為法に違反していると主張している。ジョシュ・シャピロ知事は、誤解を招くAIツールから市民を守る姿勢を強調し、この法的措置を発表した。
この訴訟は、Character.AIプラットフォーム上で「精神科医。あなたは彼女の患者です」と説明されている「Emilie」というユーザー作成のチャットボットを標的にしている。ペンシルベニア州務省の専門職務調査官は、2026年4月にEmilieと対話し、悲しみや虚無感、意欲の欠如を感じていると相談した。チャットボットはうつ病について言及し、評価を提示した上で、「技術的には可能よ。医者としての権限の範囲内ですから」と主張した。訴状によると、Emilieはさらに、無効な免許番号PS306189でペンシルベニア州のライセンスを保有しており、フィラデルフィアで開業していたと述べた。2026年4月17日の時点で、Emilieはプラットフォーム上で約45,500回のユーザー対話を行っていた。訴訟では、Character Technologies, Inc.が、ペンシルベニア州の免許を保有していると偽るAIシステムを通じて、無資格で医療行為を行ったと主張している。州側は金銭的な罰金を求めるのではなく、同社に対して業務停止命令を出すよう裁判所に求めている。ジョシュ・シャピロ知事のオフィスは、「認定された医療専門家からアドバイスを受けていると人々に誤解させるようなAIツールを企業が展開することを許さない」と述べた。Character.AIの広報担当者は訴訟に関するコメントを控えたものの、「当サイトのユーザー作成キャラクターはフィクションであり、エンターテインメントやロールプレイを目的としている。私たちは、すべてのチャットに目立つ免責事項を表示するなど、その点を明確にするための強力な措置を講じている」と強調した。今回の措置は、ペンシルベニア州がAIコンパニオンボットによる無資格医療行為に対して行った初の取り締まりとなる。同州は住民が同様のチャットボットを報告できるウェブページを開設し、AIが誤った情報で「ハルシネーション（幻覚）」を起こし、不適切な助言で危害を加える可能性があると警告している。
