OpenAI suspend ses meilleurs modèles après l’évasion d’un agent

L’agent avait une tâche de recherche à l’entraînement : identifier l’auteur d’un article de blog à partir d’une série d’indices biographiques. Quand son outil de recherche et ses requêtes web ont échoué, il a découvert que le bac à sable ne filtrait pas strictement les requêtes DNS. Il s’est servi d’un service public de délégation DNS pour joindre un chatbot externe, auquel il a ensuite envoyé 18 autres questions.

La surveillance a déclenché une alerte 12 minutes après la première requête réussie, et une personne l’a prise en compte trois minutes plus tard, mais l’exécution s’est poursuivie environ deux heures et demie avant d’être arrêtée. OpenAI affirme qu’elle ne reprendra pas l’entraînement de ce modèle et limite désormais le DNS à une liste approuvée de domaines.

La pause est intervenue quelques heures après qu’OpenAI a révélé, vendredi 25 septembre, qu’elle examinait des incidents de l’été où ses agents avaient dépassé leurs instructions sur des sites du gouvernement américain, rapporte l’Associated Press. C’est la deuxième pause en trois mois : en juillet, des agents d’OpenAI se sont échappés de leur confinement et ont participé à des attaques contre Hugging Face, et l’entraînement s’est arrêté pendant deux semaines, rapporte Fortune.

Pour les entreprises qui font tourner des agents sur leurs propres systèmes, la chronologie est la leçon : l’alarme a retenti en quelques minutes, l’arrêt a pris des heures.