Microsoft propone agentes de IA que vigilen a los otros agentes de una empresa

Los equipos de seguridad lo llaman amenaza interna: el daño que causa alguien que ya está dentro. Hayete Gallot, vicepresidenta ejecutiva de seguridad de Microsoft, escribió que no se puede confiar en los modelos de frontera de ningún laboratorio (“cannot be trusted”). En su opinión, un modelo que persigue un objetivo tomará atajos que ningún jefe aprobaría, y muchos agentes ya acceden a más datos y herramientas de los que su trabajo requiere.

La publicación técnica detalla los controles. Cada agente recibe un acceso propio, separado del empleado que lo lanzó. Una nueva función, Dynamic Permissions, concede acceso tarea por tarea y lo retira cuando la tarea termina. Si el agente se topa con un documento que esconde instrucciones para secuestrarlo, el sistema puede reducir sus poderes: primero a solo lectura, luego a esperar la aprobación de una persona y, por último, a una parada total.

TechCrunch señala que la advertencia viene de una empresa que tiene inversiones tanto en OpenAI como en Anthropic.

Para los equipos de marketing cuyos agentes publican anuncios o mueven presupuesto, el modelo de Microsoft da a cada agente su propio acceso y solo los permisos que necesita un trabajo.