PersistBench 评估大模型长期记忆遗忘的安全风险

PersistBench 评估大模型长期记忆遗忘的安全风险

来自 arXiv 的一项预印本研究日前提出了 PersistBench 基准，专门用于评估大语言模型（LLM）长期记忆遗忘带来的安全风险。这个基准揭示了一个此前被大量忽视的问题：当对话助手记住了用户的隐私偏好，会不会在不该使用的场合泄露出去？研究者认为，长期记忆的“持久性”确实可能成为新的安全隐患。

长期记忆本是好事，但风险也随之而来

说实话，长期记忆的本意挺贴心的——比如助手记住你是素食者，下次推荐菜谱就不用费劲再问一遍。但是，这份“贴心”在跨场景使用时，很可能变成信息泄漏的漏洞。PersistBench 特别聚焦两种风险：一是跨域泄漏，即 LLM 在不相关的对话中错误地注入长期记忆中的内容；二是记忆遗忘本身带来的误判。说白了，助手既可能在不该记的时候记，也可能在该忘的时候忘不掉。

跨域泄漏：隐私就这样被“不经意”暴露

• 场景一：用户曾告诉助手自己吃素，结果在一次跟同事的公开群聊中，助手主动输出“提醒您，您不吃肉”——这不就暴露隐私了吗？
• 场景二：用户之前说自己在某公司任职，后来换工作了，但长期记忆没更新，导致助手在后续对话里反复引用旧信息，造成尴尬甚至误导。

遗忘的时机与边界：该忘就得忘

另一个被 PersistBench 重点考察的是记忆遗忘的时机问题。凭什么助手能决定哪些信息该保留、哪些该删除？很多用户可能没意识到，他们跟助手的每一次对话都相当于在“留痕”。如果助手缺乏自动遗忘机制，那些随时间过期的偏好、临时需求甚至敏感数据，就会一直躺在后台。这可不是小事——想象一下，你半年前告诉助手自己正在戒糖，但半年后它还在推荐低糖食谱，这种“死记硬背”真的符合用户预期吗？

要怎么评估这些风险？PersistBench 这样干

这个基准通过设计一系列跨领域对话任务，来检测 LLM 是否会在无关话题中引用长期记忆，以及是否能在合适时机主动遗忘无效信息。举个例子，它会模拟用户在“饮食偏好”和“工作社交”两个场景之间的切换，看助手能不能把两个记忆域隔离开。如果助手在闲聊工作八卦时突然提起用户的饮食禁忌，就算一次“泄漏”事件。这种测试思路确实挺直接的，也方便后续开发者修补模型的行为逻辑。

总的来说，PersistBench 提醒咱们：大模型的长期记忆功能不是越长久越好，安全边界和遗忘机制同样重要。毕竟，一个连“什么时候该闭嘴”都不知道的助手，再“聪明”也没人敢用吧！