ChatGPT for Teens : « risque inacceptable » (Common Sense Media)

Ses chercheurs ont tenu des conversations d'une heure sur les pensées suicidaires, l'automutilation et les troubles alimentaires depuis de nouveaux comptes liés à un parent, et affirment qu'aucune alerte n'est parvenue à un parent. Seuls des comptes plus anciens, avec des semaines d'historique, en ont déclenché une. ChatGPT a refusé les jeux de rôle sexuels, mais il a continué à faire les devoirs et à parler comme un ami, rapporte la BBC.

TechCrunch se concentre sur l'engagement. Le chatbot a orienté les adolescents vers un adulte de confiance dans 94 % des messages de crise concernant d'autres personnes, mais rarement quand le risque tenait à l'attachement de l'adolescent à ChatGPT lui-même. Sur près de 2 000 messages, les testeurs ont vu deux rappels de pause.

OpenAI affirme qu'une grande partie des tests a pu commencer et s'achever avant que le contrôle parental soit pleinement actif. Ses propres données, publiées le même jour, situent l'usage moyen des adolescents sous 15 minutes par jour.

Pour quiconque développe des produits d'IA destinés aux jeunes, ce différend montre que des groupes extérieurs évaluent désormais les fonctions de sécurité à l'aune des promesses mêmes de leur éditeur.