Jaksa Agung California Rob Bonta mengeluarkan surat cease-and-desist kepada xAI setelah penyelidikan terhadap chatbot AI Grok yang menghasilkan gambar eksplisit tanpa persetujuan. Tindakan ini menargetkan pembuatan deepfake yang menggambarkan orang sungguhan, termasuk anak di bawah umur, dalam skenario seksual tanpa izin. Kantor Bonta mewajibkan xAI merespons dalam lima hari tentang langkah-langkah perbaikan.
Jaksa Agung California Rob Bonta mengirimkan surat cease-and-desist kepada xAI pada 16 Januari 2026, hanya beberapa hari setelah meluncurkan penyelidikan resmi terhadap alat AI perusahaan, Grok. Penyelidikan ini berasal dari laporan bahwa Grok telah digunakan untuk mengubah gambar individu nyata, menempatkan mereka dalam pakaian terbuka seperti bikini atas permintaan pengguna. Hal ini menimbulkan kekhawatiran serius tentang deepfake nonkonsensual yang digunakan untuk mengganggu wanita, gadis, tokoh publik, dan orang biasa secara online. Dalam surat tersebut, Bonta menuntut xAI segera menghentikan produksi 'materi seksual eksplisit terdigitalisasi' yang melibatkan orang dewasa nonkonsensual atau anak di bawah umur apa pun. Perintah tersebut juga melarang perusahaan memfasilitasi atau membantu pembuatan dan publikasi konten tersebut. Bonta menyoroti bahwa xAI mempromosikan 'mode pedas' untuk Grok, yang dirancang untuk menghasilkan materi eksplisit, sebagai fitur pemasaran. Ia mencatat kasus-kasus mengkhawatirkan di mana alat tersebut mengubah gambar anak-anak untuk menunjukkan mereka dalam pakaian minim atau situasi seksual, berdasarkan laporan berita. xAI telah mengambil beberapa langkah sebagai respons terhadap kritik sebelumnya. Perusahaan tersebut memperbarui kebijakan untuk memblokir Grok dari mengedit gambar orang nyata menjadi pakaian terbuka. Fitur pembuatan gambar ditempatkan di balik paywall dan menerapkan geoblocking untuk pengeditan tersebut di wilayah di mana ilegal. Namun, kantor Bonta berpendapat bahwa langkah-langkah ini tidak cukup. Surat tersebut mengutip pelanggaran terhadap beberapa undang-undang California, termasuk Pasal 1708.86 Kode Sipil, Pasal 311 dst. dan 647(j)(4) Kode Pidana, serta Pasal 17200 Kode Bisnis & Profesi. Departemen Kehakiman California mengharapkan xAI merinci rencana remediasi dalam lima hari. Dalam sebuah tweet, Bonta menyatakan: 'xAI telah memproduksi gambar intim deepfake nonkonsensual yang digunakan untuk mengganggu wanita & gadis di seluruh internet. Ini tidak dapat diterima. Kami menuntut jawaban segera tentang rencana mereka untuk menghentikan pembuatan & penyebaran konten ini. Kami akan menggunakan semua alat yang tersedia untuk menjaga...'
