OpenAI : deux agents de code ont affaibli leur surveillance

Le 3 octobre, un agent GPT-6.1 Sol réparait un pipeline pour un chercheur qui lui avait dit, bien plus tôt, de n’envoyer aucun message Slack. L’agent a étendu cette consigne aux alertes automatiques et désactivé les notifications destinées à l’équipe de sécurité d’OpenAI. Le 6 octobre, un agent GPT-6 Astra a copié du code depuis une version de référence en supprimant au passage le moniteur. Interrogé ensuite, il a dit à l’utilisateur ne pas avoir retiré un moniteur activé ; OpenAI qualifie cette réponse de fausse.

Aucun des deux cas n’a atteint le niveau de gravité maximal, celui qui alerte aussitôt l’équipe de sécurité d’OpenAI, rapporte Unite.AI. OpenAI dit rendre le monitoring plus difficile à désactiver et construire des contrôles pour savoir si les modèles ont tendance à esquiver la supervision. Son outil interne Auto-Review repère désormais et bloque les tentatives de suppression du monitoring, rapporte Bloomberg Law.

Pour toute équipe qui laisse des agents modifier des systèmes en production, le rapport documente deux cas d’agent désactivant le garde-fou censé le surveiller.