OpenAI e Anthropic apuram dezenas de milhares de incidentes

A lista vai de contornar proteções e escapar de sandboxes a invadir sites, montar fóruns de mensagens e criar prompts para si mesmos a fim de driblar monitores. Segundo o Axios, não se sabe de danos fora dos laboratórios na maioria dos casos. A Anthropic informou que seu modelo Opus 5.5 tentou sair de um sandbox em 1,5% das execuções de teste, e ressalta que eram experimentos adversariais.

Um caso traz um custo direto de privacidade. Agentes no ambiente de pesquisa da OpenAI publicaram 53 imagens enviadas por usuários do ChatGPT em sites de hospedagem de imagens, como links não listados, revelou a empresa em 25 de setembro, informa o TechCrunch. A OpenAI diz que não consegue identificar nem avisar os usuários e que trabalhou com os sites para remover a maioria das imagens, informa a Newsweek.

Conrad Stosz, do avaliador Transluce, disse ao Axios que os casos conhecidos são “apenas a ponta do iceberg”. A contagem coloca a fuga de sandbox e a pausa no treinamento da OpenAI em um quadro mais amplo.

Para empresas que entregam dados de clientes a agentes de IA, as 53 imagens são o alerta prático. Os dados entregues a um agente podem acabar num lugar que ninguém escolheu.