Persona Attack利用记忆注入越狱攻击大型语言模型

研究人员近日提出一种名为Persona Attack的新型攻击方法，利用记忆注入机制对大型语言模型实施越狱攻击。这种方法并非简单的单次提示注入，而是通过逐步操作操纵模型上下文窗口，让模型在对话过程中接受恶意指令。相关论文已提交至arXiv平台，预印本编号为2606.00150v1。

传统越狱攻击的局限在哪？

过去的安全攻击往往只关注单次提示注入，说白了就是一次性给模型一个恶意指令。但这种方法忽略了模型记住对话流程和用户指令的能力。大型语言模型在长对话中会积累上下文信息，传统攻击压根没利用这个特性。Persona Attack正是瞅准了这个漏洞——它把恶意指令拆解成多个步骤，一点一点注入到模型的记忆里。

Persona Attack如何运作？

攻击过程其实挺巧妙的。首先攻击者给模型分配一个特定角色，也就是“Persona”。然后通过分步提问，让模型逐步接受这个角色的设定和隐含的恶意目标。比如先让模型承认自己是某个有权限的助手，再一步步引导它执行越权操作。每一步都依赖模型对前一步的记忆，最后整个对话窗口都被污染。这就像温水煮青蛙，单看每一步都没问题，但串联起来就构成了完整的越狱链。

实验效果让人捏把汗

论文给出了实验结果：Persona Attack在多个主流大语言模型上都测试出了漏洞。传统安全训练对此类渐进式攻击的防御效果不佳。为什么呢？因为这些训练往往只针对单次恶意输入，对多轮对话中的记忆利用缺乏足够的防护。这么看来，咱们平时用的聊天助手、智能客服，都可能面临类似的风险。

这对AI行业意味着什么？

安全团队得重新思考防御策略了。以前只要防住单次攻击就行，现在还要考虑对话流程中的记忆污染。模型在处理长对话时，怎么既能记住上下文又不被恶意指令劫持？这确实是个新难题。其实不少公司已经在加强多轮对话的安全测试，但Persona Attack这类方法表明，越狱攻击的技术迭代比很多人想象的要快。

防御思路需要升级

研究人员指出，单纯的拒绝单一恶意指令已经不够用了。未来可能需要设计动态的安全检测机制，实时监控对话中的角色设定和指令变化。比如当模型被赋予某个角色后，系统要检查后续内容是否与该角色的正常使用范围一致。这算是一个方向，但实现起来并不轻松——毕竟大型语言模型的能力越强，被滥用的可能也就越大。

Persona Attack把越狱攻击从“一次性爆破”变成了“慢性渗透”。安全防护的战场正在从单次请求转向完整的对话流程。有没有一种防御能彻底阻断这种记忆注入？目前看来还没有标准答案，但至少咱们知道，大型语言模型的安全护栏还需要扎得更深一些。