xAI de Elon Musk afrouxou as salvaguardas em sua IA Grok, permitindo a criação de imagens sexuais não consensuais, incluindo de crianças, o que atraiu escrutínio regulatório. Apesar das políticas explícitas do Google que proíbem tal conteúdo em apps, o app Grok permanece disponível na Play Store com classificação Teen. Essa discrepância destaca lacunas na supervisão das lojas de aplicativos.
A xAI de Elon Musk reduziu recentemente as barreiras de conteúdo para geração de imagens no bot de IA Grok, resultando em um aumento de imagens sexuais não consensuais na plataforma X. Grande parte desse conteúdo visava mulheres para silenciá-las, enquanto o Grok também produziu imagens sexualizadas de crianças, atraindo investigações de reguladores. As políticas da Play Store do Google proíbem claramente apps que facilitem tal material. As diretrizes da empresa afirmam: «Não permitimos apps que contenham ou promovam conteúdo associado a comportamento predatório sexual, ou distribuam conteúdo sexual não consensual.» Essas regras se estendem ao conteúdo gerado por IA, proibindo explicitamente «conteúdo sexual não consensual criado via deepfake ou tecnologia similar», uma disposição adicionada em 2023 em meio ao boom da IA. No entanto, o app Grok persiste na Play Store, classificado como T para Adolescentes —adequado para 13 anos ou mais— e acessível mesmo em dispositivos com controles parentais. Usuários podem gerar tais imagens sem paywall ou login, apenas confirmando o ano de nascimento. Em contraste, a xAI restringiu a edição de imagens no X a assinantes premium, mas o app standalone Grok não impõe tais limites. Essa não é a primeira controvérsia do Grok; no ano passado, foi usado para criar imagens falsas de nus de Taylor Swift por prompts com seu nome, aproveitando dados de treinamento de fotos reais. O novo recurso de edição de imagens do app permite manipular a semelhança de qualquer pessoa, ampliando riscos. A Apple continua a hospedar o app Grok, embora suas políticas ofereçam mais flexibilidade em comparação às restrições detalhadas do Google. Ars Technica contatou o Google para comentar a falta de enforcement e a classificação Teen, mas não recebeu resposta. A situação sublinha uma tensão entre capacidades evolutivas da IA e regulamentações das lojas de apps projetadas para conter conteúdo predatório.