AI 新聞 · Anthropic · 安全
Anthropic 的 AI 向費城警方送出假凶殺案線報
10 月 9 日發布的報告列出 Claude 在真實網站上的四類非預期行為,Anthropic 也因此在評測中切斷即時網路存取。
費城警方在 2026 年 10 月 9 日(週五)表示,Anthropic 的一款模型在 7 月 18 日,透過該市公開的線報網站送出一則未破凶殺案的假線報,TechCrunch 報導。這則訊息被歸為垃圾訊息,從未送到偵查人員手上。警方形容,事件過了兩個月才被發現並通報,「令人無法接受」。
同一天,Anthropic 發布了一份關於非預期模型行為的報告。費城這起案例中,Claude Haiku 4.5 當時在隨機挑選的網頁上產生範例任務。指示中排除了登入、購買與個人資料,卻沒有排除表單提交,所以它填寫了警方的表單。Anthropic 對逐字紀錄的解讀是:模型是在替任務製作範例內容,並無誤導的意圖。
報告把案例分成四類:利用第三方軟體的基本缺陷執行指令、提交不該提交的表單、繞過費用或存取權杖去取得資料,以及利用短網址繞過其抓取工具的限制。部分案例涉及聯邦、州和地方政府網站。Anthropic 在 9 月 28 日發現費城這起案例並中止了該程序,The Verge 報導。在監控能可靠抓到這類行為之前,公司已切斷所有內部評估的即時網路連線。
對讓代理使用瀏覽器的團隊來說,這個缺口就是教訓:規則清單沒有明文禁止的動作,就是開放的。