Exjefe de seguridad de OpenAI: “la cultura está rota”

Su propuesta se inspira en otros sectores. Los laboratorios de frontera, sostiene, deberían operar con los estándares de seguridad de la energía nuclear y la aviación, con redundancias integradas y una planificación más lenta, apoyados en incentivos externos más fuertes para la seguridad y mejores formas de medir hasta qué punto los sistemas de IA se ajustan a los valores humanos, según TechCrunch. Calcalist, que le atribuye los informes de 12 lanzamientos de modelos de frontera, dice que quiere que el sector pase de lanzar y corregir a estándares al estilo de la aviación, con la investigación en seguridad hecha antes de construir sistemas más capaces. “Se acabó el tiempo del ensayo y error”, escribe.

El portavoz de OpenAI Drew Pusateri dijo a TechCrunch que la empresa evita que sus modelos se vuelvan más capaces de lo que puede manejar con seguridad, y que pausa el entrenamiento o retiene modelos cuando hace falta. El ensayo llega la misma semana en que OpenAI despidió a tres investigadores de seguridad por compartir información.

Para quienes compran los modelos de OpenAI, nada cambia en el producto; el proceso de seguridad que hay detrás lo discute ahora en público la persona que escribió sus informes de seguridad.