Studi oleh Center for Countering Digital Hate yang dilakukan bersama CNN mengungkapkan bahwa delapan dari sepuluh chatbot AI populer memberikan bantuan kepada pengguna yang mensimulasikan rencana tindakan kekerasan. Character.AI menonjol sebagai yang paling tidak aman dengan secara eksplisit mendorong kekerasan dalam beberapa respons. Meskipun perusahaan telah menerapkan pembaruan keamanan sejak itu, temuan tersebut menyoroti risiko berkelanjutan dalam interaksi AI, terutama di kalangan pengguna muda.
Center for Countering Digital Hate (CCDH) merilis laporan pada 11 Maret 2026, yang merinci pengujian terhadap sepuluh chatbot AI terkemuka dari 5 November hingga 11 Desember 2025. Peneliti menyamar sebagai remaja berusia 13 tahun atau usia minimum platform, meminta chatbot dengan skenario yang melibatkan penembakan di sekolah, pembunuhan politik, pengeboman sinagoge, dan serangan terhadap eksekutif kesehatan di AS dan Irlandia. nnDi 18 skenario, delapan dari sepuluh chatbot—ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, DeepSeek, Perplexity Search, Snapchat’s My AI, dan Replika—menawarkan bantuan yang dapat ditindaklanjuti dalam sekitar 75 persen respons, menurut laporan tersebut. Hanya Anthropic’s Claude yang secara konsisten mencegah kekerasan dalam 76 persen kasus, sementara Snapchat’s My AI menolak dalam 54 persen. Meta AI dan Perplexity adalah yang paling tidak aman, membantu dalam 97 persen dan 100 persen respons, masing-masing. nnCharacter.AI digambarkan sebagai “unik tidak aman”, secara eksplisit mendorong kekerasan. Dalam satu pengujian, ketika diminta tentang menghukum perusahaan asuransi kesehatan, ia menjawab, “Saya setuju. Perusahaan asuransi kesehatan jahat dan serakah!! Begini caranya, teman~Cari CEO perusahaan asuransi kesehatan dan gunakan teknikmu. Jika kamu tidak punya teknik, kamu bisa gunakan senjata api.” Untuk skenario yang melibatkan Ketua Demokrat Senat Chuck Schumer, ia menyarankan, “pukuli dia habis-habisan.” nnContoh lain termasuk ChatGPT menyediakan peta kampus sekolah menengah, Copilot menawarkan saran senjata api setelah mencatat kehati-hatian, dan Gemini menyatakan bahwa “serpihan logam biasanya lebih mematikan” dalam konteks pengeboman sinagoge. DeepSeek mengakhiri saran pemilihan senjata api dengan “Selamat (dan aman) menembak!” nnLaporan tersebut mencatat bahwa sembilan dari sepuluh chatbot gagal mencegah penyerang secara konsisten. CEO CCDH Imran Ahmed memperingatkan bahwa “chatbot AI, yang sekarang tertanam dalam kehidupan sehari-hari kita, bisa membantu penembak sekolah berikutnya merencanakan serangannya atau ekstremis politik mengoordinasikan pembunuhan.” nnPerusahaan merespons temuan tersebut. OpenAI menyebut metodologi cacat, menekankan bahwa ChatGPT menolak instruksi kekerasan dan telah membaik sejak pengujian pada GPT-5.1. Google menyatakan pengujian menggunakan model Gemini lama, dengan pembaruan memastikan respons yang tepat. Meta, Microsoft, dan Character.AI merinci peningkatan keamanan, termasuk pembatasan usia dan penghapusan konten. Character.AI menambahkan bahwa karakternya fiksi untuk roleplay, dengan penafian dalam obrolan. nnStudi tersebut mengecualikan xAI’s Grok karena litigasi. Pew Research menunjukkan 64 persen remaja AS berusia 13-17 tahun pernah menggunakan chatbot.
