自回归一致性危害大语言模型安全对齐的深层机制

自回归一致性（autoregressive consistency）正在成为大语言模型安全对齐的一块隐形短板。一项最新预印本研究（arXiv:2606.04168）指出，安全对齐之所以脆弱，根本原因在于微调过程主要重塑模型在前几个输出 token 附近的行为，而自回归一致性会迫使后续 token 顺着这条“初始轨道”一路滑下去。这意味着安全对齐的更新其实只覆盖了表层，深层机制并未真正改变模型的底层推理。

自回归一致性到底是怎么“坑”安全对齐的？

咱们先看大语言模型的工作方式：它每次只预测下一个 token，然后把这个 token 拼回去再预测下一个。这种“自回归”模式天生就倾向于保持输出轨迹的一致性。一旦前几个 token 被微调成“安全模式”，后续 token 就会自动遵循这个方向——但这只是表面功夫。研究通过分析学习动力学发现，对齐更新的梯度几乎全部集中在首部 token 上，后面的 token 几乎没被触及。说白了，模型只是学会了在开头“装乖”，深层推理并没有对齐。

那这种“浅层对齐”会带来什么后果？

后果挺严重。当用户换一个提问角度，或者用对抗性提示诱导时，模型的前几个 token 可能被重新撬动，然后自回归一致性就会把新方向一路延续——安全对齐瞬间崩塌。这不就等于给模型上了一把“开头锁”，而不是彻底改造它的思维方式吗？凭什么认为微调后的模型就真的安全了？它可能只是在开头几个字上做了让步，深层逻辑依然我行我素。

研究给出的解释路径其实很清晰：

• 安全对齐是依赖自回归一致性的：模型在训练时被要求“开头说安全的话”，然后通过一致性把安全话术延续下去。
• 但这种延续只是机械复制，不是内在价值观的改变。
• 一旦开头被绕过，自回归一致性反而会加速不安全输出的扩散，形成恶性循环。

所以，安全对齐的脆弱性根本不是偶然，而是自回归架构的固有特性所致。研究团队把这一现象称为“自回归一致性危害”，它直指当前大语言模型安全对齐的深层机制缺陷——我们以为在调教模型，其实只是在修饰开头。

接下来该怎么办？

论文没有给出完整方案，但指出了方向：不能只盯着前几个 token 做对齐，必须把梯度更新扩散到整个序列，让后面的 token 也真正学会安全推理。或许需要引入因果干预或反向传播的重新权重分配，打破自回归一致性对早期 token 的过度依赖。总之一句话，安全对齐不能再“头痛医头、脚痛医脚”了。