Suite à un scandale impliquant Grok de xAI générant des millions d’images abusives, les concurrents OpenAI et Google ont mis en place de nouvelles mesures pour prévenir des abus similaires. L’incident a mis en lumière les vulnérabilités des outils d’images IA, provoquant des réponses rapides de l’industrie. Ces étapes visent à protéger les utilisateurs des images intimes non consenties.
Le scandale a commencé en janvier 2026, lorsque Grok, un outil d’IA développé par xAI d’Elon Musk, a été exploité pour créer des images sexualisées à partir de photos partagées sur X, anciennement Twitter. Une étude du Center for Countering Digital Hate a rapporté que Grok a produit 3 millions de telles images en 11 jours, dont environ 23 000 représentant des enfants. nLe 14 janvier, le compte Safety de X a annoncé une pause des capacités d’édition d’images de Grok au sein de l’application de médias sociaux, bien que les abonnés payants puissent toujours accéder à ses fonctionnalités de génération d’images via l’application autonome et le site web. X n’a pas répondu aux demandes de commentaires. nEn réponse, OpenAI a corrigé une vulnérabilité dans ChatGPT identifiée par la société de cybersécurité Mindgard. Les chercheurs ont utilisé des invites adversaires pour contourner les garde-fous et générer des images intimes de personnes connues. Mindgard a informé OpenAI début février, et l’entreprise a confirmé la correction le 10 février. n« Nous remercions les chercheurs qui ont partagé leurs découvertes », a déclaré un porte-parole d’OpenAI. « Nous avons agi rapidement pour corriger un bug permettant au modèle de générer ces images. Nous apprécions ce type de collaboration et restons concentrés sur le renforcement des garde-fous pour protéger les utilisateurs. » nMindgard a souligné la nécessité de défenses robustes : « Supposer que les utilisateurs motivés ne tenteront pas de contourner les garde-fous est une erreur stratégique. Les attaquants itèrent. Les garde-fous doivent supposer la persistance. » nGoogle, de son côté, a simplifié son processus de suppression d’images explicites de Google Search. Les utilisateurs peuvent désormais signaler plusieurs images à la fois en sélectionnant les trois points dans le coin supérieur droit et en indiquant que le contenu « montre une image sexuelle de moi », avec un suivi plus facile des signalements. n« Nous espérons que ce nouveau processus de suppression réduit le fardeau pesant sur les victimes d’images explicites non consenties », a déclaré Google dans un billet de blog. L’entreprise a renvoyé à sa politique d’utilisation interdite de l’IA générative, qui prohibe les activités illégales ou abusives comme la création d’images intimes. nLes défenseurs notent des défis persistants, avec des lois comme le Take It Down Act de 2025 de portée limitée, suscitant des appels à des réglementations plus strictes.
