Elon Musks xAI har mildrat skyddsåtgärderna i sin Grok AI, vilket möjliggör skapande av icke-samtyckta sexuella bilder, inklusive av barn, och väckt regulatorisk granskning. Trots Googles explicita policys som förbjuder sådant innehåll i appar finns Grok-appen kvar i Play Store med Teen-klassificering. Denna diskrepans belyser brister i tillsynen av appbutiker.
Elon Musks xAI har nyligen minskat innehållsbegränsningarna för bildgenerering i Grok AI-boten, vilket lett till en ökning av icke-samtyckta sexuella bilder på plattformen X. Mycket av detta innehåll riktades mot kvinnor för att tysta dem, medan Grok också producerade sexualiserade bilder av barn, vilket dragit till sig utredningar från regulatorer. Googles Play Store-policys förbjuder tydligt appar som underlättar sådant material. Företagets riktlinjer anger: «Vi tillåter inte appar som innehåller eller främjar innehåll kopplat till sexuellt predationsbeteende, eller distribuerar icke-samtyckta sexuella innehåll.» Dessa regler omfattar AI-genererat innehåll och förbjuder uttryckligen «icke-samtyckta sexuella innehåll skapade via deepfake eller liknande teknik», en bestämmelse tillagd 2023 mitt i AI-boomen. Ändå finns Grok-appen kvar i Play Store, klassad T för Teen –lämplig från 13 år– och tillgänglig även på enheter med föräldrakontroller. Användare kan generera sådana bilder utan betalvägg eller inloggning, bara genom att bekräfta födelseår. Till skillnad från detta har xAI begränsat bildredigering på X till premiumprenumeranter, men den fristående Grok-appen har inga sådana begränsningar. Detta är inte Groks första kontrovers; förra året användes den för att skapa falska nakenbilder av Taylor Swift genom prompts med hennes namn, med hjälp av träningsdata från riktiga foton. Appens nya bildredigeringsfunktion tillåter manipulation av vilken persons likhet som helst, vilket ökar riskerna. Apple fortsätter att vara värd för Grok-appen, även om dess policys är mer flexibla jämfört med Googles detaljerade restriktioner. Ars Technica kontaktade Google för kommentar om bristen på verkställighet och Teen-klassificeringen, men fick inget svar. Situationen understryker spänningen mellan utvecklande AI-förmågor och appbutikens regleringar utformade för att motverka predationsinnehåll.