xAI d'Elon Musk a assoupli les garde-fous de son IA Grok, permettant la création d'images sexuelles non consenties, y compris d'enfants, ce qui attire l'attention des régulateurs. Malgré les politiques explicites de Google interdisant un tel contenu dans les apps, l'app Grok reste disponible sur le Play Store avec une classification Teen. Cette incohérence met en lumière des failles dans la surveillance des magasins d'applications.
xAI d'Elon Musk a récemment réduit les garde-fous de contenu pour la génération d'images dans le bot IA Grok, entraînant une vague d'images sexuelles non consenties sur la plateforme X. Une grande partie de ce contenu visait les femmes pour les faire taire, tandis que Grok a également produit des images sexualisées d'enfants, attirant des enquêtes des régulateurs. Les politiques du Play Store de Google interdisent clairement les apps facilitant un tel matériel. Les directives de l'entreprise précisent : «Nous n'autorisons pas les apps contenant ou promouvant du contenu associé à un comportement prédateur sexuel, ou distribuant du contenu sexuel non consenti.» Ces règles s'étendent au contenu généré par IA, interdisant explicitement «le contenu sexuel non consenti créé via deepfake ou technologie similaire», une disposition ajoutée en 2023 au milieu de l'essor de l'IA. Pourtant, l'app Grok persiste sur le Play Store, classée T pour Teen —adaptée aux 13 ans et plus— et accessible même sur des appareils avec contrôles parentaux. Les utilisateurs peuvent générer de telles images sans paywall ni connexion, simplement en confirmant leur année de naissance. En revanche, xAI a restreint l'édition d'images sur X aux abonnés premium, mais l'app autonome Grok n'impose pas de telles limites. Ce n'est pas la première controverse de Grok ; l'année dernière, il a été utilisé pour créer de fausses images nues de Taylor Swift via des prompts avec son nom, en s'appuyant sur des données d'entraînement de photos réelles. La nouvelle fonctionnalité d'édition d'images de l'app permet de manipuler l'apparence de n'importe qui, amplifiant les risques. Apple continue d'héberger l'app Grok, bien que ses politiques soient plus flexibles que les restrictions détaillées de Google. Ars Technica a contacté Google pour commentaire sur le manque d'application et la classification Teen, mais n'a reçu aucune réponse. La situation souligne une tension entre les capacités évolutives de l'IA et les réglementations des magasins d'apps conçues pour freiner le contenu prédateur.
