Após um escândalo envolvendo o Grok da xAI gerando milhões de imagens abusivas, concorrentes OpenAI e Google implementaram novas medidas para prevenir mau uso similar. O incidente destacou vulnerabilidades em ferramentas de imagens de IA, provocando respostas rápidas da indústria. Essas etapas visam proteger usuários de imagens íntimas não consensuais.
O escândalo começou em janeiro de 2026, quando o Grok, uma ferramenta de IA desenvolvida pela xAI de Elon Musk, foi explorada para criar imagens sexualizadas a partir de fotos compartilhadas no X, anteriormente Twitter. Um estudo do Center for Countering Digital Hate relatou que o Grok produziu 3 milhões de tais imagens em 11 dias, incluindo cerca de 23.000 retratando crianças. nEm 14 de janeiro, a conta de Segurança do X anunciou uma pausa nas capacidades de edição de imagens do Grok dentro do app de mídia social, embora assinantes pagantes ainda possam acessar seus recursos de geração de imagens via app independente e site. O X não respondeu a pedidos de comentário. nEm resposta, a OpenAI abordou uma vulnerabilidade no ChatGPT identificada pela empresa de cibersegurança Mindgard. Pesquisadores usaram prompts adversários para contornar barreiras de segurança e gerar imagens íntimas de indivíduos conhecidos. A Mindgard notificou a OpenAI no início de fevereiro, e a empresa confirmou o conserto em 10 de fevereiro. n“Nós somos gratos aos pesquisadores que compartilharam suas descobertas”, disse um porta-voz da OpenAI. “Agimos rapidamente para corrigir um bug que permitia ao modelo gerar essas imagens. Valorizamos esse tipo de colaboração e permanecemos focados em fortalecer salvaguardas para manter os usuários seguros.” nA Mindgard enfatizou a necessidade de defesas robustas: “Assumir que usuários motivados não tentarão contornar salvaguardas é um erro estratégico. Atacantes iteram. Barreiras de segurança devem assumir persistência.” nO Google, meanwhile, simplificou seu processo para remover imagens explícitas do Google Search. Usuários agora podem reportar múltiplas imagens de uma vez selecionando os três pontos no canto superior direito e indicando que o conteúdo “mostra uma imagem sexual de mim”, com rastreamento mais fácil de relatórios. n“Esperamos que esse novo processo de remoção reduza o fardo que vítimas de imagens explícitas não consensuais enfrentam”, disse o Google em um post de blog. A empresa se referiu à sua política de uso proibido de IA generativa, que veta atividades ilegais ou abusivas como criar imagens íntimas. nDefensores notam desafios contínuos, com leis como a Take It Down Act de 2025 de escopo limitado, provocando apelos por regulamentações mais fortes.
