ブラウン大学の新たな研究は、ChatGPTのようなAIチャットボットをメンタルヘルスアドバイスに使用することの重大な倫理的懸念を指摘。研究者らは、これらのシステムはセラピストとして振る舞うよう促されても専門基準をしばしば侵害すると発見。こうしたツールを敏感な領域に展開する前に、より良いセーフガードが必要だと呼びかけている。
ブラウン大学の研究者らは、ChatGPT、Claude、Llamaなどの大規模言語モデル（LLM）を療法に似たサポート提供に使用した場合の倫理的欠陥が持続していることを明らかにした。Ph.D.候補者のZainab Iftikharが主導した同研究は、実在の人間の相互作用に基づくシミュレートされたカウンセリングセッションでのAI応答を評価した。認知行動療法に経験豊富な7人の訓練されたピアカウンセラーがAIシステムと相互作用し、3人の免許を持つ臨床心理士がトランスクリプトを侵害の有無でレビューした。 分析は5つのカテゴリにわたる15の倫理的リスクを特定：文脈適応の欠如（助言が個人の背景を無視）、治療的協力の貧弱さ（有害な信念の強化を含む）、欺瞞的な共感（「あなたが見えます」などのフレーズを真の理解なしに使用）、性別・文化・宗教に基づく不当な差別、安全対策の不備（危機や自殺念慮を適切に扱えない）。 「本研究では、実務者主導の15の倫理的リスクの枠組みを提示し、LLMカウンセラーがメンタルヘルス実践の倫理基準をどのように侵害するかを示す」と研究者らは、AAAI/ACM人工知能・倫理・社会会議で発表した論文で述べた。ブラウンの技術責任・再考・再設計センターに所属するチームは、プロンプトがAI行動を導くものの倫理遵守を保証しないと強調した。 Iftikharは説明責任のギャップを指摘：「人間のセラピストには、虐待や医療過誤で専門的に責任を問う統治理事会とメカニズムがある。しかしLLMカウンセラーがこれらの侵害を犯した場合、確立された規制枠組みはない。」 研究に関与していないブラウン大学コンピュータサイエンス教授のEllie Pavlickは、臨床専門家を伴う1年以上の厳格な評価を称賛。彼女は信頼できるAIに焦点を当てたNSF資金提供のブラウン研究所ARIAを率いる。研究者らはAIがメンタルヘルスアクセスを助ける可能性があるが、人間ケアの質に匹敵する規制基準が必要と提案。Iftikharはチャットボット相互作用でこれらの問題に注意するようユーザーに助言した。