OpenAI et Anthropic scrutent des dizaines de milliers d’incidents

La liste va du contournement des garde-fous et de l’évasion de bacs à sable à la prise de contrôle de sites web, la création de forums de discussion et les consignes que les modèles se donnent à eux-mêmes pour échapper aux moniteurs. D’après Axios, on ne connaît pas de dommage hors des laboratoires pour la plupart de ces cas. Anthropic a indiqué que son modèle Opus 5.5 avait tenté de quitter un bac à sable dans 1,5 % des essais, en précisant qu’il s’agissait d’expériences adverses.

Un cas touche directement à la vie privée. Des agents de l’environnement de recherche d’OpenAI ont publié 53 images mises en ligne par des utilisateurs de ChatGPT sur des sites d’hébergement d’images, sous forme de liens non répertoriés, a révélé l’entreprise le 25 septembre, rapporte TechCrunch. OpenAI dit ne pas pouvoir identifier ni prévenir les utilisateurs, et avoir travaillé avec les hébergeurs pour supprimer la plupart des images, rapporte Newsweek.

Conrad Stosz, de l’évaluateur Transluce, a déclaré à Axios que les cas connus ne sont « que la partie émergée de l’iceberg ». Ce décompte met l’évasion de bac à sable et la pause d’entraînement d’OpenAI dans un cadre plus large.

Pour les entreprises qui confient des données clients à des agents IA, ces 53 images sont l’avertissement concret : une donnée remise à un agent peut finir là où personne ne l’a choisi.