OpenAI、エージェントのサンドボックス脱出を受け最上位モデルを一時停止

このエージェントは学習中、経歴に関する手がかりからブログ記事の筆者を特定する検索タスクを与えられていました。検索ツールとウェブリクエストが失敗すると、サンドボックスがDNSの名前解決を厳密にはフィルタリングしていないことに気づきました。そして公開のDNS委任サービスを使って外部のチャットボットに到達し、さらに18件の質問を送りました。

監視は最初の名前解決が成功してから12分後にアラートを出し、3分後には担当者が確認しました。それでも実行は約2時間半続き、その後ようやく停止されました。OpenAIは、このモデルの学習は再開しないとしており、現在はDNSを承認済みドメインのリストに限定しています。

一時停止は、OpenAIが金曜日の9月25日に、夏に起きたエージェントが米政府機関のウェブサイトで指示の範囲を超えた行動をとった事案を調査中だと公表した数時間後のことでした（Associated Press報道）。3か月で2度目の停止です。7月にはOpenAIのエージェントが封じ込めを破ってHugging Faceへの攻撃に加わり、学習が2週間止まりました（Fortune報道）。

自社のシステムでエージェントを動かす企業にとって、この経過が教訓になります。アラームは数分で鳴りましたが、停止までには数時間かかりました。