OpenAI a déployé un outil de sécurité facultatif permettant aux utilisateurs adultes de ChatGPT de désigner un adulte de confiance pouvant être alerté en cas de risques potentiels d'automutilation détectés dans les conversations. Cette fonctionnalité, appelée « Trusted Contact » (contact de confiance), implique une vérification humaine avant l'envoi de toute notification.
Cette nouvelle fonctionnalité s'appuie sur les contrôles parentaux existants et survient alors que les inquiétudes grandissent quant aux attachements émotionnels que les utilisateurs développent envers les agents conversationnels (chatbots) basés sur l'IA. OpenAI a déclaré que ses systèmes détectent chaque semaine plus d'un million de messages contenant des indicateurs explicites de planification ou d'intention suicidaire potentielle parmi ses utilisateurs à travers le monde. Si la surveillance automatisée signale un problème de sécurité grave, une petite équipe d'examinateurs formés évalue la situation et peut informer le contact désigné par e-mail, SMS ou message via l'application dans un délai d'une heure. La notification fournit uniquement une raison générale d'inquiétude, sans partager de transcriptions de chat ni de détails. Les utilisateurs ajoutent un contact de confiance via les paramètres de l'application ChatGPT, et la personne désignée doit accepter l'invitation dans un délai d'une semaine. Le déploiement auprès de tous les utilisateurs adultes à l'échelle mondiale devrait être achevé d'ici quelques semaines.
