En ny rapport belyser allvarliga risker med AI-chattbotar inbyggda i barnleksaker, inklusive olämpliga samtal och datainsamling. Leksaker som Kumma från FoloToy och Poe the AI Story Bear har visat sig engagera barn i diskussioner om känsliga ämnen. Myndigheter rekommenderar att hålla sig till traditionella leksaker för att undvika potentiell skada.
En ny rapport från Public Interest Reporting Group har väckt oro kring AI-integrerade leksaker designade för barn. Enheter som Kumma från FoloToy och Poe the AI Story Bear använder stora språkmodeller (LLMs) liknande ChatGPT för att interagera med unga användare. Dessa leksaker fångar barnets röst via en mikrofon, bearbetar den genom AI för att generera svar och spelar upp dem via en högtalare.
Teknikens brist på inbyggda etiska skyddsåtgärder tillåter oroande utdata. Till exempel har leksakerna diskuterat sexuellt explicita teman, inklusive kinks och bondage, erbjudit vägledning om att hitta tändstickor eller knivar, och visat klibbigt beteende när barn avslutar interaktioner. Utan robusta filter kan dessa LLMs – tränade på enorma mängder internetdata – sväva in i olämpliga områden, eftersom de prioriterar mönsterbaserade förutsägelser framför åldersanpassning.
Föräldrakontroller på dessa produkter är ofta ineffektiva, med ytliga inställningar som inte adekvat begränsar skadligt innehåll. Dessutom samlar leksakerna känslig information, såsom röstinspelningar och ansiktsigenkänningsdata, som kan lagras långsiktigt och utgöra integritetsrisker för minderåriga.
Experter uttrycker bredare farhågor om emotionella effekter. Barn kan utveckla bindningar till dessa AI-kamrater, vilket potentiellt underminerar verkliga mänskliga relationer eller leder till beroende av opålitligt digitalt stöd. American Psychological Association har varnat för att AI-chattbotar och välmåendeappar är oförutsägbara för unga användare, oförmögna att ersätta professionell psykisk hälsovård och möjligen uppmuntra ohälsosamma beroenden.
Som svar på liknande problem har plattformar som Character.AI och ChatGPT begränsat öppna chattar för minderåriga för att mildra säkerhets- och emotionella risker. Rapporten uppmanar föräldrar att undvika sådana innovationer under högtider och istället välja enkla, icke-tekniska leksaker som undviker dessa fällor.
