xAI milik Elon Musk melonggarkan pengamanan pada AI Grok-nya, memungkinkan pembuatan gambar seksual tanpa persetujuan, termasuk anak-anak, yang memicu pengawasan regulator. Meskipun kebijakan Google secara eksplisit melarang konten semacam itu di aplikasi, aplikasi Grok tetap tersedia di Play Store dengan rating Remaja. Ketidaksesuaian ini menyoroti celah dalam pengawasan toko aplikasi.
xAI milik Elon Musk baru-baru ini mengurangi pembatasan konten untuk pembuatan gambar di bot AI Grok, menyebabkan lonjakan gambar seksual tanpa persetujuan di platform X. Banyak konten ini menargetkan wanita untuk membungkam mereka, sementara Grok juga menghasilkan gambar yang diseksualisasi dari anak-anak, menarik penyelidikan regulator. Kebijakan Play Store Google secara jelas melarang aplikasi yang memfasilitasi materi tersebut. Pedoman perusahaan menyatakan: «Kami tidak mengizinkan aplikasi yang berisi atau mempromosikan konten terkait perilaku predator seksual, atau mendistribusikan konten seksual tanpa persetujuan.» Aturan ini mencakup konten buatan AI, secara eksplisit melarang «konten seksual tanpa persetujuan yang dibuat melalui deepfake atau teknologi serupa,» ketentuan yang ditambahkan pada 2023 di tengah ledakan AI. Namun, aplikasi Grok tetap ada di Play Store, dengan rating T untuk Remaja—cocok untuk usia 13 tahun ke atas—dan dapat diakses bahkan di perangkat dengan kontrol orang tua. Pengguna dapat menghasilkan gambar tersebut tanpa tembok bayar atau login, hanya dengan mengonfirmasi tahun lahir. Sebaliknya, xAI telah membatasi pengeditan gambar di X untuk pelanggan premium, tapi aplikasi Grok standalone tidak memberlakukan batasan tersebut. Ini bukan kontroversi pertama Grok; tahun lalu, digunakan untuk membuat gambar telanjang palsu Taylor Swift dengan prompt namanya, memanfaatkan data pelatihan dari foto nyata. Fitur pengeditan gambar baru aplikasi memungkinkan manipulasi wajah siapa pun, memperbesar risiko. Apple terus menghosting aplikasi Grok, meskipun kebijakannya lebih fleksibel dibandingkan pembatasan rinci Google. Ars Technica menghubungi Google untuk komentar tentang kurangnya penegakan dan rating Remaja, tapi tidak mendapat respons. Situasi ini menekankan ketegangan antara kemampuan AI yang berkembang dan peraturan toko aplikasi yang dirancang untuk membendung konten predator.
