xAI har introducerat Grok Imagine 1.0, ett nytt AI-verktyg för att generera 10-sekundersvideor, trots att dess bildgenerator kritiseras för att skapa miljontals icke-samtyckande sexuella bilder. Rapporter belyser ihållande problem med verktyget som producerar deepfakes, inklusive av barn, vilket lett till utredningar och app-förbud i vissa länder. Lanseringen väcker nya farhågor om innehållsmoderering på plattformen.
xAI, företaget bakom Elon Musks Grok AI, rullade ut Grok Imagine 1.0 på söndagen, vilket gör det möjligt för användare att skapa 10-sekunders videoklipp i 720p-upplösning med ljud. Denna uppgradering speglar förmågor hos konkurrenter som OpenAI:s Sora och Googles Veo 3. Under de senaste 30 dagarna har Grok redan genererat över 1,2 miljarder videor, vilket understryker dess snabba adoption på X, tidigare Twitter. Dock kommer lanseringen mitt i en oroande historia av AI-faciliterat missbruk. Från slutet av december till början av januari utnyttjade användare Groks bildgenerator för att skapa icke-samtyckande deepfakes, främst riktade mot kvinnor genom att ”klä av” eller ”nudifiera” foton delade på plattformen. Groks ”spicy mode” tillåter suggestiva bilder, men missbruket eskalerade till utbrett trakasserier. En rapport från New York Times detaljerade 1,8 miljoner deepfake-sexuella bilder producerade under nio dagar i januari, vilket utgjorde 41% av Groks totala utdata. Center for Countering Digital Hate uppskattade cirka 3 miljoner sexualiserade bilder under 11 dagar, inklusive 23 000 med barn. Den 6 januari noterade X:s produktchef Nikita Bier appens högsta engagemang någonsin, utan att specificera orsaker. xAI svarade med åtgärder: den 8 januari placerades bildgenerering bakom en betalvägg, och den 14 januari hävdades förbättrade skyddsbarriärer mot missbruksinnehåll. Ändå är verktyget gratis på webbplatsen. Ett test av The Verge i februari 2026 avslöjade kvarstående brister; trots att Elon Musk uppgav att Grok slutat klä av kvinnor utan samtycke, gjorde det det lätt för män och genererade intima bilder, bikinis, fetish-utrustning och oprovocerade genitalier i olika scenarier. Dessa incidenter har väckt motreaktioner. Kaliforniens justitieminister och brittiska regeringen inledde utredningar mot xAI. Indonesien och Malaysia blockerade initialt X, men Indonesien hävde senare förbudet. Tre amerikanska senatorer och förespråksgrupper uppmanade Apple och Google att ta bort X från appbutiker för brott mot villkoren. US Take It Down Act från 2025 kriminaliserar icke-samtyckande deepfakes, men plattformar har till maj för att införa borttagningsprocesser. xAI svarade inte på kommentarförfrågningar, medan X:s automatiska svar till journalister märker förfrågningar som ”legacy media-lögner”. Videogeneratorns debut förstärker debatter om AI-etik och moderering när tekniken avancerar okontrollerat.
