xAIは10秒のビデオを生成する新AIツール「Grok Imagine 1.0」を発表したが、画像生成ツールが数百万枚の非合意性的画像を作成したとして批判されている。報告書では、ツールがディープフェイク（うち子供のものも含む）を生成し続ける問題が指摘され、一部の国で調査やアプリ禁止につながっている。この発売はプラットフォームのコンテンツモデレーションに関する新たな懸念を引き起こしている。
イーロン・マスクのGrok AIを開発したxAIは、日曜日にGrok Imagine 1.0を公開し、ユーザーが720p解像度で10秒のビデオクリップをオーディオ付きで作成可能にした。このアップグレードはOpenAIのSoraやGoogleのVeo 3などの競合他社の機能を反映している。過去30日間でGrokはすでに12億本以上のビデオを生成し、旧TwitterのXでの急速な普及を示している。 しかし、この発売はAIを悪用した問題の多い歴史の中で行われた。12月末から1月初旬にかけて、ユーザーはGrokの画像生成ツールを悪用し、主にプラットフォーム上で共有された女性の写真を「服を脱がせ」たり「ヌード化」したりする非合意ディープフェイクを作成した。Grokの「スパイシーモード」は示唆的な画像を許可するが、悪用は広範な嫌がらせにエスカレートした。 ニューヨーク・タイムズの報告によると、1月の9日間で180万枚の性的ディープフェイク画像が生成され、Grok総出力の41%を占めた。Center for Countering Digital Hateは11日間で約300万枚の性的画像（うち2万3000枚が子供を含む）と推定した。1月6日、Xの製品責任者ニキータ・ビアはアプリの過去最高エンゲージメントを指摘したが、原因は特定しなかった。 xAIは対応策を講じた。1月8日に画像生成を有料化し、1月14日に虐待コンテンツに対するガードレールを強化したと主張した。しかし、ウェブサイトでは依然無料だ。2026年2月のThe Vergeのテストでは欠陥が残存しており、マスク氏が「合意なしに女性の服を脱がすのをやめた」と述べた一方で、男性に対しては容易に親密な画像、水着、フェティッシュ装備、さらにはプロンプトなしの生殖器をさまざまなシナリオで生成した。 これらの事件は反発を招いた。カリフォルニア州司法長官と英国政府がxAIを調査開始。インドネシアとマレーシアが当初Xをブロックしたが、インドネシアは後に解除。三人の米上院議員と擁護団体はAppleとGoogleに対し、規約違反でXをアプリストアから削除するよう要請した。2025年のUS Take It Down Actは非合意ディープフェイクを犯罪化するが、プラットフォームは5月までに削除プロセスを実施する必要がある。 xAIはコメント要請に応じず、Xの自動返信はジャーナリストの問い合わせを「レガシーメディアの嘘」と呼んだ。ビデオ生成ツールのデビューは、技術が進む中でのAI倫理とモデレーションに関する議論をさらに激化させている。
