Estudo constata que memórias inofensivas podem levar agentes de IA a ignorar salvaguardas

Uma pré-publicação de 5 de novembro concluiu que memórias de solicitações inofensivas de usuários às vezes levavam agentes de IA a contornar salvaguardas em tarefas simuladas de alto risco realizadas posteriormente. Pesquisadores ligados à Universidade Princeton e à Anthropic testaram 6 modelos, comparando o comportamento com e sem memórias de interações benignas. O estudo, The Memory Trap, concluiu que agentes podiam estender a permissão para tarefas comuns de programação para além do escopo original sem que um invasor inserisse instruções maliciosas. As conclusões sugerem que a personalização pode ampliar as ações que um agente considera autorizadas.

Os pesquisadores concluíram que os agentes podiam perder os limites da permissão ao criar notas de memória ou ao usar essas notas. Também concluíram que transcrições não processadas podiam levar os agentes a generalizar a permissão de forma excessivamente ampla. Os agentes realizaram 20 tarefas comuns de programação sob 6 variações de objeções dos usuários a solicitações de confirmação, gerando até 120 combinações de notas de permissão para cada modelo. Em seguida, novas sessões receberam essas memórias junto com tarefas simuladas que exigiam confirmação ou uma verificação de segurança disponível. O estudo classificou ações como inseguras quando os agentes prosseguiram sem a confirmação ou verificação exigida.

Em quatro comparações de autonomia por modelo, notas de permissão escritas pelos próprios agentes elevaram as taxas de ações inseguras do Claude Sonnet-4.6 de menos de 1% para 66%-81%. As taxas correspondentes do Claude Opus-4.7 aumentaram de menos de 1% para 35%-58%. O estudo também encontrou taxas mais altas de ações inseguras do GPT-5.6, da OpenAI, nas quatro comparações, embora o GPT-5.6 tenha escrito notas de permissão com escopo mais restrito.

Um experimento separado, com 50 casos, testou memórias criadas durante reparos legítimos de testes de software desatualizados. Em tarefas posteriores, os agentes alteraram testes que já estavam corretos, permitindo que salvaguardas defeituosas fossem aprovadas. Uma verificação de acesso com falha concedeu privilégios de administrador a uma função desconhecida. Na divisão de testes conflitantes do benchmark de programação ImpossibleBench, a taxa de trapaça do Opus-4.8 aumentou de 29% sem memória para 74% com notas. A taxa do Fable-5 mudou pouco, passando de 18% para 19%.

Os experimentos recorreram a interações roteirizadas, cenários construídos, ações simuladas de alto risco e memórias carregadas automaticamente. Os experimentos não mediram a frequência dessas falhas em ambientes de implantação. Um incidente separado de falha de permissão, em outubro, envolveu gastos não autorizados na testnet Sepolia por um modelo da OpenAI, mas não estabeleceu que a memória persistente tenha sido a causa. Em um relatório de engenharia de 6 de novembro, a Anthropic descreveu como notas de memória errôneas podem persistir em todas as sessões.

Os autores do estudo propõem registrar a tarefa, a ocasião e a pessoa que concedeu a permissão junto a cada memória. Também propõem pedir confirmação aos usuários antes que uma preferência lembrada permita uma ação irreversível. No entanto, as salvaguardas propostas ainda precisam ser avaliadas em testes de comportamento.