模型合并导致MoE路由崩溃，免训练校准方案提出

模型合并导致MoE路由崩溃，免训练校准方案提出

一项新研究揭示了混合专家（MoE）大模型在合并时的一个致命缺陷：路由崩溃。简单来说，当把多个MoE模型合并成一个时，负责分配任务的“路由器”会彻底失灵，把输入乱分给不合适的专家模块。这跟咱们把两个公司的部门强行合并，结果新主管看不懂员工职责是一个道理。针对该问题，研究团队提出了一个免训练的校准方案来修复路由——这不就等于给混乱的系统装了个“纠错补丁”吗？

路由崩溃到底是怎么回事？

MoE模型的核心在于“路由器”（Routing）这个调度员，它用softmax和Top-k机制决定每个输入该让哪个专家处理。但模型合并技术（Model Merging）——把多个模型参数做线性组合或优化——碰上MoE架构就栽了。研究者发现，合并后的路由器会计算出非常不靠谱的权重，导致专家闲置或超载。说白了，路由器变得“糊涂”了，原本文献里提到的“routing breakdown”就是这么来的。

• 合并前：路由器能精准把任务分给擅长该领域的专家。
• 合并后：softmax输出的概率分布被打乱，Top-k选出来的专家完全不对路。

免训练校准方案凭什么能救场？

既然路由器崩溃源于合并后参数的非线性干扰，那就不用重新训练整个模型——只需要对路由层的权重做一次“事后调整”。研究团队提出的方案核心思路挺直接：通过计算少量样本的激活模式，修正合并后路由器的输出偏差。这就像是给迷路的导航软件重新校准一下传感器，而不是重装整个地图数据。方案不需要额外的训练数据和算力，算是目前成本最低的修复方法。

这事对AI行业意味着什么？

模型合并被视为低成本整合多模型能力的手段，但MoE架构在主流大模型（比如部分开源模型）中越来越常见。如果合并会导致路由崩溃，那么很多团队“混搭”模型的计划就得重新掂量。好在这次提出的免训练校准方案，至少给了大伙一个应急的解决办法。不过注意，这方案只是缓解症状，离根治合并后模型的性能下降还有距离——毕竟路由只是问题的一部分，专家层本身的权重冲突也没解决呢。

研究细节与下一步

该工作以预印本形式发表在arXiv（编号2606.03391），文中明确指出了MoE合并的“critical failure mode”。对于开发者来说，好消息是校准过程不涉及复杂训练；坏消息是“免训练”不等于“无脑操作”，仍需选择代表性的校准数据。其实呢，这个问题也从侧面说明了：大模型的能力集成挺复杂，光靠简单的参数加减法还远远不够。后续如果能结合路由和专家层的联合校正，或许才能让模型合并真正实用起来。