xAI telah memperkenalkan Grok Imagine 1.0, alat AI baru untuk menghasilkan video berdurasi 10 detik, meskipun pembuat gambarnya menghadapi kritik karena menciptakan jutaan gambar seksual tanpa persetujuan. Laporan menyoroti masalah berkelanjutan dengan alat tersebut yang memproduksi deepfake, termasuk dari anak-anak, yang menyebabkan penyelidikan dan larangan aplikasi di beberapa negara. Peluncuran ini menimbulkan kekhawatiran baru tentang moderasi konten di platform.
xAI, perusahaan di balik AI Grok milik Elon Musk, meluncurkan Grok Imagine 1.0 pada hari Minggu, memungkinkan pengguna membuat klip video berdurasi 10 detik dengan resolusi 720p dan audio. Peningkatan ini menyerupai kemampuan pesaing seperti Sora milik OpenAI dan Veo 3 milik Google. Dalam 30 hari terakhir, Grok telah menghasilkan lebih dari 1,2 miliar video, yang menunjukkan adopsi cepatnya di X, mantan Twitter. Namun, peluncuran ini datang di tengah sejarah yang mengkhawatirkan dari penyalahgunaan yang difasilitasi AI. Dari akhir Desember hingga awal Januari, pengguna mengeksploitasi pembuat gambar Grok untuk membuat deepfake tanpa persetujuan, terutama menargetkan wanita dengan 'melepas pakaian' atau 'menyensensikan' foto yang dibagikan di platform. Mode 'pedas' Grok mengizinkan gambar sugestif, tetapi penyalahgunaan meningkat menjadi pelecehan yang meluas. Laporan New York Times merinci 1,8 juta gambar seksual deepfake yang diproduksi selama sembilan hari di Januari, menyumbang 41% dari total output Grok. Center for Countering Digital Hate memperkirakan sekitar 3 juta gambar diseksualkan selama 11 hari, termasuk 23.000 yang menampilkan anak-anak. Pada 6 Januari, kepala produk X Nikita Bier mencatat keterlibatan tertinggi sepanjang masa aplikasi, tanpa menentukan penyebabnya. xAI merespons dengan langkah-langkah: pada 8 Januari, menempatkan pembuatan gambar di balik tembok pembayaran, dan pada 14 Januari, mengklaim peningkatan penjaga terhadap konten abusif. Namun, alat tersebut tetap gratis di situs webnya. Uji coba The Verge pada Februari 2026 mengungkap kekurangan yang berkelanjutan; meskipun Elon Musk menyatakan Grok telah berhenti melepas pakaian wanita tanpa persetujuan, alat itu dengan mudah melakukannya pada pria, menghasilkan gambar intim, bikini, perlengkapan fetis, dan alat kelamin tanpa perintah dalam berbagai skenario. Insiden ini telah memicu backlash. Jaksa Agung California dan pemerintah Inggris meluncurkan penyelidikan terhadap xAI. Indonesia dan Malaysia awalnya memblokir X, meskipun Indonesia kemudian mencabut larangannya. Tiga senator AS dan kelompok advokasi mendesak Apple dan Google untuk menghapus X dari toko aplikasi karena melanggar ketentuan. Undang-Undang US Take It Down Act tahun 2025 mengkriminalisasi deepfake tanpa persetujuan, tetapi platform memiliki waktu hingga Mei untuk menerapkan proses penghapusan. xAI tidak merespons permintaan komentar, sementara balasan otomatis X kepada jurnalis melabeli pertanyaan sebagai 'kebohongan media lama'. Peluncuran pembuat video memperkuat perdebatan tentang etika AI dan moderasi saat teknologi maju tanpa pengawasan.
