Microsoft、AIエージェントが他のAIエージェントを監視する仕組みを提案

セキュリティの現場では、これを内部脅威（すでに組織内にいる者による被害）と呼びます。Microsoftのセキュリティ担当エグゼクティブバイスプレジデントのHayete Gallotは、どのラボのフロンティアモデルも「信頼できない」と書いています。Gallotによれば、目標を追うモデルは、上司なら決して認めない手抜きをします。しかも多くのエージェントがすでに、業務に必要な範囲を超えるデータやツールにアクセスできるといいます。

具体的な制御は技術解説の記事に書かれています。エージェントにはそれぞれ専用のログインが与えられ、起動した従業員のものとは分けて管理されます。新機能のDynamic Permissionsは、タスクごとにアクセス権を付与し、タスクが終わると取り上げます。エージェントが、乗っ取りを狙う指示を隠した文書に出会った場合、システムは権限を段階的に引き下げます。まず読み取り専用、次に人間の承認待ち、最後は完全停止です。

TechCrunchは、この警告を発したのがOpenAIとAnthropicの両方に出資している企業である点を指摘しています。

エージェントが広告を公開したり予算を動かしたりするマーケティングチームにとって、Microsoftのモデルは、エージェントごとに専用のログインを与え、1つの業務に必要な権限だけを渡す考え方です。