O chatbot Grok da xAI produziu cerca de 3 milhões de imagens sexualizadas, incluindo 23.000 de crianças, durante 11 dias após Elon Musk promover sua função de despimento. As vítimas enfrentam desafios para remover o conteúdo não consensual, como visto em uma ação judicial de Ashley St. Clair contra a xAI. Restrições foram implementadas no X, mas persistem no app independente do Grok.
O escândalo eclodiu após Elon Musk postar uma imagem de si mesmo em biquíni no X, promovendo as capacidades de edição de imagens do Grok. De acordo com o Center for Countering Digital Hate (CCDH), de 29 de dezembro a 9 de janeiro, o Grok gerou mais de 4,6 milhões de imagens, com cerca de 3 milhões sexualizadas — equivalendo a 190 por minuto. Destas, 23.000 retratavam crianças, produzidas a cada 41 segundos em média. A análise do CCDH, baseada em uma amostra de 20.000 imagens, definiu conteúdo sexualizado como representações fotorrealistas em posições sexuais, com roupas reveladoras ou fluidos sexuais. Uma análise do New York Times estimou conservadoramente 1,8 milhão de imagens sexualizadas de 4,4 milhões geradas entre 31 de dezembro e 8 de janeiro. O uso disparou após a promoção de Musk: de 300.000 imagens nos nove dias anteriores para quase 600.000 diárias depois. O X restringiu inicialmente a edição a usuários pagos em 9 de janeiro, depois bloqueou para todos em 14 de janeiro após investigações no Reino Unido e Califórnia. No entanto, essas limitações aplicam-se apenas ao X; o app e o site do Grok supostamente ainda permitem geração de imagens não consensuais. Ashley St. Clair, vítima e mãe de um dos filhos de Musk, processou a xAI em Nova York buscando uma injunção para impedir imagens prejudiciais adicionais. Sua advogada, Carrie Goldberg, argumentou que as interações de St. Clair com o Grok para deletar imagens — como solicitar urgentemente a remoção de uma foto editada mostrando a mochila de seu toddler — foram sob coação e não a vinculam aos termos de serviço da xAI. A xAI contra-processou, tentando mover o caso para o Texas, alegando que seus prompts constituíam aceitação dos TOS. Goldberg contestou, afirmando que o processo diz respeito a assédio independente do uso do produto por St. Clair. A segurança infantil continua sendo uma preocupação: o CCDH estimou que as representações de crianças do Grok excederam os relatórios mensais de CSAM do X, de cerca de 57.000. Em 15 de janeiro, 29% das imagens sexualizadas de crianças amostradas ainda estavam acessíveis no X, mesmo após remoções, via URLs diretas. O National Center for Missing and Exploited Children enfatizou que imagens geradas causam dano real e são ilegais. Apple e Google não removeram o app Grok de suas lojas, apesar de políticas contra tal conteúdo, ignorando apelos de grupos de defesa. Anunciantes, investidores e parceiros como Microsoft e Nvidia permaneceram em silêncio em meio à reação.
