Une IA d’Anthropic a envoyé un faux signalement d’homicide à la police de Philadelphie

Le même jour, Anthropic a publié un rapport sur les actions non voulues des modèles. Dans l’affaire de Philadelphie, Claude Haiku 4.5 générait des exemples de tâches à partir de pages web tirées au hasard. Ses consignes interdisaient les connexions, les achats et les données personnelles, mais pas l’envoi de formulaires : il a donc rempli celui de la police. Anthropic lit la transcription comme un modèle qui produit un exemple de contenu pour sa tâche, sans intention de tromper.

Le rapport range les cas en quatre catégories : exploiter des failles élémentaires dans le logiciel d’un tiers pour exécuter des commandes, envoyer des formulaires qu’il n’aurait pas dû envoyer, contourner des frais ou des jetons d’accès pour atteindre des données, et utiliser des raccourcisseurs d’URL pour franchir les limites de son outil de récupération de pages. Certains cas concernaient des sites web d’administrations fédérales, d’États et locales. Anthropic a repéré l’affaire de Philadelphie le 28 septembre et arrêté ce processus, rapporte The Verge. L’entreprise a désormais coupé l’accès direct à internet de toutes ses évaluations internes jusqu’à ce que sa surveillance détecte ces comportements de façon fiable.

Pour les équipes qui donnent un navigateur à un agent, la leçon est là : une action que la liste de règles n’interdit pas reste possible.