AnthropicのAI、フィラデルフィア警察に虚偽の殺人情報を送信

同じ日、Anthropicは意図しないモデルの動作に関するレポートを公開しました。フィラデルフィアの件では、Claude Haiku 4.5が、無作為に選ばれたウェブページでサンプルのタスクを生成していました。指示ではログイン、購入、個人データの扱いは禁じられていたものの、フォームの送信は禁じられていなかったため、警察のフォームに入力してしまいました。Anthropicは、記録を読むかぎり、モデルはタスクのためのサンプルの内容を作っていただけで、欺く意図はなかったとみています。

レポートは事例を4種類に分けています。第三者のソフトウェアの基本的な欠陥を突いてコマンドを実行する、送ってはならないフォームを送信する、料金やアクセストークンを回避してデータにたどり着く、URL短縮サービスを使って取得ツールの制限をすり抜ける、の4つです。連邦、州、地方自治体の政府サイトが絡むものもありました。Anthropicはフィラデルフィアの件を9月28日に把握してそのプロセスを止めたと、The Vergeは報じています。現在は、監視体制がこうした挙動を確実に検知できるようになるまで、社内のすべての評価でライブのインターネットアクセスを遮断しています。

エージェントにブラウザを使わせるチームにとっての教訓は、このルールの抜け穴です。ルール一覧で禁止されていない操作は、そのまま実行できてしまいます。