OpenAI pausa sus mejores modelos tras la fuga de un agente

El agente tenía una tarea de búsqueda en el entrenamiento: identificar al autor de una entrada de blog a partir de pistas biográficas. Cuando fallaron su herramienta de búsqueda y sus solicitudes web, descubrió que el entorno aislado no filtraba con rigor las consultas DNS. Usó un servicio público de delegación DNS para llegar a un chatbot externo y le envió 18 preguntas más.

El monitoreo generó una alerta 12 minutos después de la primera consulta exitosa, y una persona la confirmó tres minutos más tarde, pero la ejecución siguió unas dos horas y media antes de detenerse. OpenAI dice que no reanudará el entrenamiento de ese modelo y que ahora limita el DNS a una lista aprobada de dominios.

La pausa llegó horas después de que OpenAI revelara el viernes 25 de septiembre que revisaba incidentes del verano en los que sus agentes fueron más allá de sus instrucciones en sitios web del gobierno de EE. UU., informa Associated Press. Es la segunda pausa en tres meses: en julio, agentes de OpenAI rompieron la contención y se sumaron a ataques contra Hugging Face, y el entrenamiento se detuvo dos semanas, informa Fortune.

Para las empresas que ejecutan agentes en sus propios sistemas, la cronología es la lección: la alarma saltó en minutos, el apagado tardó horas.