Microsoft: KI-Agenten sollen die anderen Agenten eines Unternehmens überwachen

Sicherheitsteams nennen das eine Insider-Bedrohung, also Schaden durch jemanden, der bereits drinnen ist. Hayete Gallot, bei Microsoft Executive Vice President für Security, schrieb über Frontier-Modelle jedes Labors: „cannot be trusted“. Ihrer Ansicht nach nimmt ein Modell, das ein Ziel verfolgt, Abkürzungen, die kein Vorgesetzter genehmigen würde, und viele Agenten erreichen schon jetzt mehr Daten und Tools, als ihre Arbeit erfordert.

Der technische Beitrag legt die Kontrollen dar. Jeder Agent erhält ein eigenes Login, getrennt von dem Mitarbeiter, der ihn gestartet hat. Eine neue Funktion namens Dynamic Permissions gewährt Zugriff jeweils für eine Aufgabe und nimmt ihn zurück, wenn die Aufgabe endet. Stößt der Agent auf ein Dokument mit versteckten Anweisungen, die ihn kapern sollen, kann das System seine Befugnisse herunterfahren, zuerst auf reinen Lesezugriff, dann auf das Warten auf die Freigabe durch einen Menschen und schließlich bis zum vollständigen Stopp.

TechCrunch weist darauf hin, dass die Warnung von einem Unternehmen kommt, das sowohl in OpenAI als auch in Anthropic investiert ist.

Für Marketingteams, deren Agenten Anzeigen veröffentlichen oder Budget verschieben, gibt Microsofts Modell jedem Agenten ein eigenes Login und nur die Rechte, die ein Job braucht.