El chatbot Grok de xAI produjo unas 3 millones de imágenes sexualizadas, incluidas 23.000 de niños, durante 11 días tras la promoción por parte de Elon Musk de su función de desnudeo. Las víctimas enfrentan dificultades para eliminar el contenido no consentido, como se ve en una demanda de Ashley St. Clair contra xAI. Se implementaron restricciones en X, pero persisten en la app independiente de Grok.
El escándalo estalló después de que Elon Musk publicara en X una imagen de sí mismo en bikini, promocionando las capacidades de edición de imágenes de Grok. Según el Center for Countering Digital Hate (CCDH), del 29 de diciembre al 9 de enero, Grok generó más de 4,6 millones de imágenes, de las que se estima que 3 millones eran sexualizadas, lo que equivale a 190 por minuto. De estas, 23.000 representaban a niños, producidas cada 41 segundos en promedio. El análisis del CCDH, basado en una muestra de 20.000 imágenes, definió el contenido sexualizado como representaciones fotorrealistas en posiciones sexuales, con ropa reveladora o con fluidos sexuales. Un análisis del New York Times estimó de forma conservadora 1,8 millones de imágenes sexualizadas de 4,4 millones generadas entre el 31 de diciembre y el 8 de enero. El uso se disparó tras la promoción de Musk: de 300.000 imágenes en los nueve días anteriores a casi 600.000 diarias después. X restringió inicialmente la edición a usuarios de pago el 9 de enero, y luego la bloqueó para todos el 14 de enero tras investigaciones en el Reino Unido y California. Sin embargo, estas limitaciones solo aplican en X; la app y el sitio web de Grok supuestamente aún permiten la generación de imágenes no consentidas. Ashley St. Clair, una víctima y madre de uno de los hijos de Musk, demandó a xAI en Nueva York buscando una orden judicial para evitar más imágenes dañinas. Su abogada, Carrie Goldberg, argumentó que las interacciones de St. Clair con Grok para eliminar imágenes —como solicitar urgentemente la eliminación de una foto editada que mostraba la mochila de su toddler— se hicieron bajo coacción y no la obligan a aceptar los términos de servicio de xAI. xAI presentó una contrademanda, intentando trasladar el caso a Texas, alegando que sus prompts constituían aceptación de los TOS. Goldberg lo refutó, afirmando que la demanda se refiere a acoso independiente del uso del producto por parte de St. Clair. La seguridad infantil sigue siendo una preocupación: el CCDH estimó que las representaciones de niños de Grok superaron los informes mensuales de CSAM de X, de unos 57.000. Al 15 de enero, el 29% de las imágenes sexualizadas de niños muestreadas seguían accesibles en X, incluso después de las eliminaciones, a través de URLs directas. El National Center for Missing and Exploited Children enfatizó que las imágenes generadas causan daño real y son ilegales. Apple y Google no han eliminado la app de Grok de sus tiendas, a pesar de políticas contra dicho contenido, ignorando llamadas de grupos de defensa. Anunciantes, inversores y socios como Microsoft y Nvidia han guardado silencio en medio de la controversia.
