ResMerge 提出残差谱合并方法解决 RL 专家模型融合难题

ResMerge 提出残差谱合并方法解决 RL 专家模型融合难题

ResMerge 团队日前发布了一项新成果——残差谱合并（Residual-based Spectral Merging）方法，专门针对强化学习（RL，一种通过试错和奖励来训练模型决策能力的机器学习范式）专家模型的融合难题。现有的大语言模型合并技术，通常假设模型中的主导奇异方向（即最重要的信号维度）包含了核心任务信息，而能量较低的残差成分可以被压缩或舍弃。但 ResMerge 的研究人员发现，这一假设在 RL 训练出的任务向量上完全行不通。

说白了，传统的谱合并方法有个挺粗糙的逻辑：先把每个专家模型的任务向量分解成一个“领头频谱头”和一个“残差尾巴”，然后把尾巴砍掉或削弱，以为这样就能减少干扰，让模型融合更顺畅。可结果呢？在面对 RL 专家模型时，这招儿根本不好使。

为什么 RL 任务向量这么特殊？

其实核心原因在于，RL 训练出的模型，其任务信号并不是单纯集中在几个主导方向上。咱们可以这么理解：想象一个精通围棋和象棋的专家，他的“围棋能力”和“象棋能力”在神经网络里是像麻花一样拧在一起的，你很难只拿掉其中一个方向而不影响另一个。ResMerge 的实验数据直接打了传统方法的脸——那些被当作“噪音”舍弃的低能量残差成分，恰恰是 RL 专家模型完成特定任务的关键信息。强行压缩它们，融合后的模型性能会断崖式下跌，这合理吗？

• 传统方法的问题：假设残差成分是干扰，直接压缩。→ 结果：RL 专家融合后能力大减。
• ResMerge 的创新：不对残差成分一刀切，而是通过频谱重加权保留关键信号。→ 结果：融合模型既能继承多个专家的专长，又不会相互打架。

ResMerge 具体是怎么做的？方法并不复杂，但确实够聪明。它不再把残差成分视为累赘，而是用一套残差加权的机制，把每个 RL 专家模型的频谱结构重新对齐。简单说，就是让不同专家的“信号频谱”在合并前先调好频，保留那些在 RL 训练中真正重要的低能量模式。这样一来，融合后的模型既保留了各个专家在特定任务上的优势，又避免了不同任务信号之间的互相干扰。

这一发现可以说是给模型融合领域提了个醒：别再用那些基于监督学习经验的老套路来对付 RL 模型啦！本质上，RL 训练出的模型内部表征更复杂、更耦合，传统合并方法那种“砍尾巴”的做法，等于直接把专家的独门绝技给废了。ResMerge 的残差谱合并方法，真正做到了“既要、又要、还要”——既要保留多个专家的能力，又要减少冲突，还要训练零成本！

据 arXiv 论文（编号 2606.02252）介绍，该方法在多个 RL 专家模型合并测试中表现优异，融合后的模型在相应任务上的性能显著优于传统谱合并方法。对于当前大模型领域越来越依赖 RL 进行微调的趋势来说，这项研究算是捅破了一层窗户纸：原来模型融合的瓶颈，不在主导信号，而在那些被大家忽略的“残差细节”上。