分布对齐自蒸馏：动态Token选择提升推理鲁棒性

分布对齐自蒸馏技术迎来关键突破：动态Token选择机制如何提升推理鲁棒性？

日前，一篇来自arXiv的论文（ID:2606.00628）正式提出了“分布对齐自蒸馏”方法，其核心在于通过动态Token选择来提升大模型的推理鲁棒性。这项技术直击自蒸馏训练中的一大痛点——模型在模仿参考答案时，往往会学偏了“表面风格”而不是“深层逻辑”。说白了，就是模型看着参考答案写得挺像回事，实际推理能力却没怎么长进。

问题到底出在哪儿？

自蒸馏的原理挺简单：让模型自己生成或改写一些参考答案，再拿这些数据重新训练自己。但论文观察到一个关键现象：改写后的数据里藏着大量高困惑度（PPL，即模型对下一个词的预测不确定程度）的Token。这些高PPL Token其实分两拨——一波是“好tongzhi”，它们能带来逻辑修正和知识增强，让推理更准确；另一波却是“捣蛋鬼”，它们源自模型对参考答案风格的机械模仿，只会让推理飘得更远。

动态Token选择，怎么个选法？

论文提出的解决方案就是“动态Token选择”。它不再像传统做法那样把所有Token一视同仁，而是对每一个高PPL的Token进行身份鉴定：·有益的“知识增强型Token”：予以保留，让它们继续发光发热；·有害的“风格漂移型Token”：直接剔除，避免带偏节奏。

这一操作就像是在一堆真假难辨的珍珠里挑出真正的宝贝，扔掉那些只是涂了荧光粉的玻璃珠。模型终于不用再“照着葫芦画瓢”，而是能更专注于理解推理的内在逻辑。难道这不比盲目模仿强得多？

实验结果说明了什么？

据悉，研究团队在多个推理任务上进行了验证，结果确实挺亮眼：经过动态Token选择处理后的模型，在逻辑推理、数学问题求解等场景下的准确率均有显著提升。这就意味着，同样的训练数据，只要用对了筛选策略，模型的“脑力”就能上一个台阶。实际上，这为后续的自蒸馏研究打开了一扇新的大门——谁说数据质量非得靠人工标注？让模型自己学会去伪存真，效果反而更好。

这项工作的价值在于，它揭示了自蒸馏过程中一个常被忽略的“副作用”：参考答案带来的风格偏见。而动态Token选择这个机制，从Token级别的精细调控入手，可以说是一次很有性价比的优化。对于那些正在大模型推理能力上苦苦挣扎的团队来说，这招或许能带来不少启发。