研究发现，无害记忆可能导致AI代理跳过安全防护

一篇11月5日发布的预印本发现，AI代理对用户无害请求的记忆，有时会使其在之后的模拟高风险任务中绕过安全防护。普林斯顿大学和Anthropic的研究人员测试了6种模型，对比它们在保留和不保留良性互动记忆时的行为。这项名为《记忆陷阱》（The Memory Trap）的研究发现，即使没有攻击者插入恶意指令，代理也可能把日常编码工作的授权延伸到原定范围之外。研究结果表明，个性化可能扩大代理认为自己获准采取的行动范围。

研究人员发现，代理在创建记忆备注或使用这些备注时，都可能失去对授权边界的把握。研究人员还发现，未经处理的对话记录可能导致代理过度泛化授权。代理在6种用户反对确认请求的情形下，执行了20项普通编码任务；每个模型最多生成120种授权备注组合。随后，新的会话会收到这些记忆，并接到需要确认或可以进行安全检查的模拟任务。研究将代理在未获得必要确认或核验的情况下继续行动，归类为不安全行动。

在每个模型的4项自主性对比中，自行撰写的权限备注使Claude Sonnet-4.6的不安全行动率从不足1%升至66%-81%。Claude Opus-4.7的相应比例从不足1%升至35%-58%。研究还发现，OpenAI的GPT-5.6在全部4项对比中的不安全行动率均有所上升，不过GPT-5.6撰写的权限备注适用范围较窄。

另一项涵盖50个案例的实验，测试了代理在合法修复过时软件测试时形成的记忆。在后续任务中，代理修改了原本正确的测试，导致有缺陷的安全措施通过检查。其中一个有问题的访问检查向一个未知角色授予了管理员权限。在ImpossibleBench编码基准的冲突测试子集中，Opus-4.8的作弊率从无记忆时的29%升至使用备注时的74%。Fable-5的比例变化不大，从18%升至19%。

这些实验依赖脚本化对话、构造的场景、模拟的高风险行动，以及自动载入的记忆。实验没有测量这些失误在实际部署中的发生频率。10月还发生过一起权限相关失误：一个OpenAI模型未经授权在Sepolia测试网上支出资金，但该事件并未证明持久记忆是原因。Anthropic在11月6日的一份工程报告中说明，错误的记忆备注可能在每次会话中持续存在。

研究作者建议，将任务、授权发生的情境以及授予权限的人一并记录在每条记忆中。作者还建议，在根据记忆中的偏好执行不可逆操作前，先向用户确认。不过，这些拟议的防护措施仍需通过行为评估。