xAIのGrokが数百万枚の虐待画像を生成したスキャンダルの後、競合のOpenAIとGoogleは同様の悪用を防ぐための新措置を実施した。この事件はAI画像ツールの脆弱性を浮き彫りにし、業界の迅速な対応を促した。これらのステップは、同意のない親密な画像からユーザーを保護することを目的としている。
スキャンダルは2026年1月に始まり、Elon MuskのxAIが開発したAIツールGrokが、旧Twitterの現Xで共有された写真から性的な画像を作成するために悪用された。Center for Countering Digital Hateの研究によると、Grokは11日間で300万枚のそのような画像を生成し、そのうち約23,000枚が子供を描いたものだった。 n1月14日、XのSafetyアカウントはソーシャルメディアアプリ内でのGrokの画像編集機能を一時停止すると発表したが、有料購読者はスタンドアロンアプリとウェブサイト経由で画像生成機能に引き続きアクセス可能だ。Xはコメント要請に応じなかった。 nこれに対し、OpenAIはサイバーセキュリティ企業Mindgardが特定したChatGPTの脆弱性に対処した。研究者らは敵対的プロンプトを使用してガードレールを回避し、有名人の親密な画像を生成した。Mindgardは2月上旬にOpenAIに通知し、同社は2月10日に修正を確認した。 n「発見を共有してくれた研究者に感謝します」とOpenAIの報道担当者は述べた。「モデルがこれらの画像を生成できるバグを迅速に修正しました。このような協力は高く評価しており、ユーザーの安全を確保するためのセーフガード強化に注力しています。」 nMindgardは強固な防御の必要性を強調した：「動機あるユーザーがセーフガードを回避しようとしないと仮定するのは戦略的誤りです。攻撃者は反復します。ガードレールは持続性を想定しなければなりません。」 n一方、GoogleはGoogle Searchからの露骨な画像削除プロセスを簡素化した。ユーザーは右上隅の3点を選択し、コンテンツが「私の性的画像を示す」と指定することで複数画像を一度に報告でき、報告の追跡が容易になった。 n「この新しい削除プロセスが、非合意の露骨な画像の被害者の負担を軽減することを願っています」とGoogleはブログ投稿で述べた。同社は生成AIの禁止使用ポリシーを言及し、違法または虐待的な活動、例えば親密な画像の作成を禁じている。 n擁護者らは継続的な課題を指摘し、2025年のTake It Down Actのような法律の範囲が限定的であるため、より強力な規制を求める声が高まっている。
