Microsoft propose des agents IA pour surveiller les autres agents d'une entreprise

Les équipes de sécurité parlent de menace interne : un tort causé par quelqu'un déjà dans la place. Hayete Gallot, vice-présidente exécutive chargée de la sécurité chez Microsoft, a écrit que les modèles de pointe de n'importe quel laboratoire « ne sont pas dignes de confiance ». Selon elle, un modèle lancé à la poursuite d'un objectif prendra des raccourcis qu'aucun manager n'approuverait, et nombre d'agents accèdent déjà à plus de données et d'outils que leur travail ne l'exige.

Le billet technique détaille les contrôles. Chaque agent dispose de son propre identifiant, distinct de celui de l'employé qui l'a lancé. Une nouvelle fonction, Dynamic Permissions, accorde les accès tâche par tâche et les retire quand la tâche se termine. Si l'agent tombe sur un document qui cache des instructions destinées à le détourner, le système peut réduire ses pouvoirs par paliers : d'abord lecture seule, puis attente de la validation d'un humain, enfin arrêt complet.

TechCrunch relève que cet avertissement vient d'une entreprise qui a investi à la fois dans OpenAI et dans Anthropic.

Pour les équipes marketing dont les agents publient des pubs ou déplacent du budget, le modèle de Microsoft donne à chaque agent son propre identifiant et uniquement les droits qu'exige une mission.