PR2预测路由重放缓解MoE大模型强化学习路由漂移

PR2预测路由重放缓解MoE大模型强化学习路由漂移

arXiv上近日公开的一篇论文（编号2606.00395）正式提出PR2方法，直指MoE（混合专家）大模型在强化学习训练中的关键痛点——路由器漂移。核心做法是在推理轨迹内冻结并重放路由，以此缓解训练与部署阶段的不一致问题。这算是给PPO类算法在MoE架构上的不稳定训练提供了一条实在的缓解路径。

路由器漂移到底是个什么问题？

MoE大模型靠多个专家网络并行干活，路由器决定每个token该找哪位专家。训练一更新，路由器的选择可能就变了——同一段推理轨迹，前一步和后一步激活的专家完全不同。这种漂移在解耦的 rollout 阶段和训练阶段之间更明显，造成 rollout 和训练数据之间出现较大 mismatch。重要性采样权重也因此忽高忽低，训练信号不稳定。咱们想想，这不就跟打靶时瞄一个点但每次落点都飘到不同地方一样吗？

PR2怎么缓解的？

论文提出的办法挺直接：在每个推理轨迹内部，把初始的路由决策冻结下来，在后续的强化学习更新中强制重放这一条固定路由。这样做的逻辑其实不难理解——既然漂移来自路由随更新而变，那就让同一条轨迹内的路由不变。PR2的名字全称是 Predictive Routing Replay，意思是预测性地把路由固定住再重放。

• 冻结路由：在单个推理轨迹中确定一套专家激活方案
• 重放机制：训练阶段强制沿用这套方案，不重新计算路由
• 缓解不匹配：减小 rollout 阶段和训练阶段之间的分布差异

对PPO类算法的影响有多少？

强化学习在MoE大模型上的训练不稳定，很大程度就来自重要性采样权重的方差。路由器漂移导致 rollout 阶段和训练阶段各自的专家激活分布不一致，PPO那套重要性采样权重自然就乱了。PR2通过路由重放让两个阶段的分布对齐，权重估计算是更稳健了。你可能会问，固定路由会不会限制模型表达力？论文给出的答案是：在推理轨迹内部固定，不是全局固定，不同轨迹之间路由还是可以自由调整的。

这套方案的实际意义在哪？

MoE架构在扩展大模型规模时表现确实强，但强化学习训练环节的稳定性一直是个坑。PR2从路由角度切入，不涉及修改模型结构或引入额外参数，直接改训练流程——把路由决策的时序一致性管住。这方案真的适用于现有训练框架吗？从论文实验来看，在典型PPO设置下，路由重放确实能降低重要性采样权重的波动。对行业里正在做MoE大模型RL训练的开发团队来说，这算是一个可以直接拿去验证的思路。