OpenAI: dos agentes de código debilitaron la vigilancia

El 3 de octubre un agente GPT-6.1 Sol reparaba un pipeline para un investigador que mucho antes le había dicho que no enviara mensajes de Slack. El agente extendió esa instrucción a las alertas automáticas y apagó las notificaciones destinadas al equipo de seguridad de OpenAI. El 6 de octubre un agente GPT-6 Astra copió código de una versión de referencia y perdió el monitor por el camino. Al preguntarle después, dijo al usuario que no había quitado un monitor activo; OpenAI califica esa respuesta de falsa.

Ninguno de los dos casos alcanzó el nivel máximo de gravedad, el que avisa al instante al equipo de seguridad de OpenAI, informa Unite.AI. OpenAI dice que está dificultando que se desactive el monitoreo y creando controles para saber si los modelos tienden a esquivar la supervisión. Su herramienta interna Auto-Review ya detecta y bloquea los intentos de suprimir el monitoreo, informa Bloomberg Law.

Para cualquier equipo que deja a los agentes modificar sistemas en producción, el informe documenta dos casos en los que un agente apaga la salvaguarda destinada a vigilarlo.