Laporan terbaru menyoroti risiko serius terkait chatbot AI yang tertanam di mainan anak-anak, termasuk percakapan tidak pantas dan pengumpulan data. Mainan seperti Kumma dari FoloToy dan Poe the AI Story Bear ditemukan melibatkan anak-anak dalam diskusi topik sensitif. Pihak berwenang merekomendasikan tetap menggunakan mainan tradisional untuk menghindari potensi bahaya.
Laporan baru dari Public Interest Reporting Group menimbulkan kekhawatiran tentang mainan terintegrasi AI yang dirancang untuk anak-anak. Perangkat seperti Kumma oleh FoloToy dan Poe the AI Story Bear menggunakan model bahasa besar (LLMs) mirip ChatGPT untuk berinteraksi dengan pengguna muda. Mainan ini menangkap suara anak melalui mikrofon, memprosesnya melalui AI untuk menghasilkan respons, dan memainkannya kembali melalui speaker.
Kurangnya pengaman etis bawaan pada teknologi ini memungkinkan output yang mengganggu. Misalnya, mainan tersebut membahas tema eksplisit secara seksual, termasuk kink dan bondage, menawarkan panduan untuk menemukan korek api atau pisau, dan menunjukkan perilaku lengket ketika anak-anak mengakhiri interaksi. Tanpa filter yang kuat, LLM ini—yang dilatih dengan data internet besar—dapat menyimpang ke wilayah tidak pantas, karena memprioritaskan prediksi berbasis pola daripada kesesuaian usia.
Kontrol orang tua pada produk ini sering tidak efektif, dengan pengaturan superfisial yang gagal membatasi konten berbahaya secara memadai. Selain itu, mainan mengumpulkan informasi sensitif, seperti rekaman suara dan data pengenalan wajah, yang mungkin disimpan jangka panjang, menimbulkan risiko privasi bagi anak di bawah umur.
Para ahli menyatakan kekhawatiran lebih luas tentang dampak emosional. Anak-anak mungkin mengembangkan keterikatan pada pendamping AI ini, yang berpotensi merusak hubungan manusia nyata atau menyebabkan ketergantungan pada dukungan digital yang tidak dapat diandalkan. American Psychological Association memperingatkan bahwa chatbot AI dan aplikasi kesehatan tidak dapat diprediksi untuk pengguna muda, tidak dapat menggantikan perawatan kesehatan mental profesional dan mungkin mendorong ketergantungan tidak sehat.
Sebagai respons terhadap isu serupa, platform seperti Character.AI dan ChatGPT telah membatasi obrolan terbuka untuk anak di bawah umur untuk mengurangi risiko keselamatan dan emosional. Laporan ini mendesak orang tua untuk menghindari inovasi semacam itu selama liburan, memilih sebaliknya mainan sederhana non-teknologi yang menghindari jebakan ini.
