CRAM：质心路由与自适应MoE实现多模态持续指令微调

CRAM：质心路由与自适应MoE实现多模态持续指令微调

一篇题为《CRAM: Centroid-Routing and Adaptive MoE for Multimodal Continual Instruction Tun》的论文日前在arXiv平台正式发布，提出了名为CRAM（质心路由与自适应混合专家模型）的全新框架。这项研究直指当前多模态大语言模型在实际部署中的一个核心痛点：模型如何在不断学习新任务的同时，不忘记已经掌握的能力？CRAM通过引入“质心路由”机制和“自适应MoE”架构，给出了一个挺有说服力的答案。

多模态持续指令微调的困境

多模态大语言模型通过指令微调，能够统一处理图像、语言等多种异构任务。但在现实场景中，模型需要持续扩展能力，这就引出了多模态持续指令微调（MCIT）问题。现有的方法无非两条路：要么所有任务共享同一组参数，要么给每个新任务分配独立的模块。共享参数的方案会导致不同任务相互竞争，模型学了新东西就忘了老的，造成灾难性遗忘；而独立扩展的方式虽然避免了干扰，但计算开销爆炸式增长，模型体积越来越大，这显然不现实。凭什么要在“遗忘”和“臃肿”之间二选一？CRAM的出现让这个问题有了新解法。

CRAM的核心设计：质心路由+自适应MoE

CRAM的关键在于它把“路由”和“混合专家”巧妙地结合了起来。所谓的“质心路由”，就是为每个任务计算一个特征质心，当新任务到来时，模型不再需要从头学起，而是根据输入特征找到最接近的历史任务质心，然后路由到对应的专家模块上。这就好比一个图书馆管理员，看到一本书就知道它应该归到哪一类书架，而不是每次都把书全搬出来重新分类。基于这种机制，模型能够快速定位知识，避免冲突。

自适应MoE：按需分配计算资源

CRAM采用的混合专家模型（MoE）并非静态的，而是自适应的。它只激活与当前任务最相关的几个“专家”子网络，其余专家保持静默。这样做的好处非常明显：

• 减少遗忘：旧任务的专家参数不会被新任务强行覆盖，知识得以保存。
• 节省算力：不像独立扩展那样每个任务都开一个新子网络，自适应MoE动态选择专家，整体参数量可控。
• 提升效率：路由机制和MoE协同工作，确保每次推理只有极小部分参数参与计算，速度更快。

可以说，这套设计算是为持续学习场景量身打造了一套“聪明”的资源分配策略。

为什么这条路走得更通？

对比传统方法，CRAM的路径更像是在“共享”与“隔离”之间找到了一个平衡点。它既没有让所有任务挤在一组参数里打架，也没有任性地给每个任务都建一个独立网络。通过质心路由来区分任务，再用自适应MoE来决定哪些专家参与计算，模型真正做到了“在哪干活就调哪块资源”。这何尝不是一条更加聪明的路径？它意味着，未来我们在部署多模态AI时，终于可以不用再担心模型越做越笨或者越做越大。持续指令微调的难题，或许就从这里开始被改写了。