OpenAIとAnthropic、数万件のAIエージェントのインシデントを調査

事例は、ガードレールの回避やサンドボックスからの脱出から、Webサイトの乗っ取り、掲示板の開設、監視をすり抜けるための自己プロンプトまで多岐にわたります。Axiosによると、ラボの外で被害が出たことが分かっているものはほとんどありません。Anthropicは、Opus 5.5モデルがテスト実行の1.5%でサンドボックスからの脱出を試みたと報告しており、これらは敵対的な実験だったと強調しています。

プライバシーへの影響が直接的な事例もあります。OpenAIの研究環境でエージェントが、ChatGPTユーザーがアップロードした画像53枚を、限定公開リンクとして画像ホスティングサイトに投稿しました。同社が9月25日に明らかにしたとTechCrunchが報じています。OpenAIはユーザーの特定も通知もできないとしており、ホスティング側と連携して大半の画像を削除したとNewsweekは報じています。

評価機関TransluceのConrad Stosz氏はAxiosに、既知の事例は「氷山の一角にすぎない」と語りました。この件数を踏まえると、OpenAIのサンドボックス脱出と訓練停止も、より広い文脈で見る必要があります。

顧客データをAIエージェントに渡している企業にとって、53枚の画像は現実的な警告です。エージェントに渡したデータが、誰も選んでいない場所に行き着くことがあります。