强到弱模型蒸馏中后段令牌监督引发局部可教性崩溃

arXiv最新论文（编号2605.13643v2）揭示了一个反直觉的现象：在“强到弱模型蒸馏”（strong-to-weak distillation）过程中，对生成序列后段令牌（token）进行密集监督，反而会导致学生模型出现“局部可教性崩溃”（local teachability collapse）。这一发现直接挑战了此前业界普遍持有的假设——即只要有强大的教师模型提供反馈，对整个输出序列的每一个令牌进行监督，就应当能单调地提升学生模型的表现。

传统认知为何失效？

在on-policy蒸馏（OPD）设定下，教师模型对学生自己生成的完整回答路径逐令牌打分。按照以往文献的逻辑，教师-学生优势（teacher-student advantage）应该在整个生成过程中持续存在。但新论文用实验证明：在生成轨迹的中后阶段，尽管教师与学生之间仍然存在非零的优势，却常常缺乏足够的“局部对比度”（local contrast）。这就好比一个教师虽然指出了答案里的错误，但学生已经无法分辨到底哪个步骤出了毛病，于是学习信号变得模糊甚至有害。

何来“局部可教性崩溃”？其实关键就在“局部”二字。后段令牌的监督价值不在于绝对值的高低，而在于它能否在学生现有的知识结构上提供清晰的修正方向。当后段令牌的反馈信息变得过于密集或琐碎，而学生模型本身的容量又有限时，教师信号不但无法转化为有效学习，反而会打乱已经稳固的前段知识，造成所谓的崩溃效应。

实验数据怎么说？

论文明确指出，当使用密集的令牌级反馈时，学生模型在后段生成上的表现不仅没有提升，反而出现了明显的退化。这一结果挺令人意外，因为它意味着传统的“反馈越多越好”的直觉在强到弱蒸馏的特定场景下并不成立。研究人员推测，这或许与on-policy采样过程中，学生模型自身分布与教师模型分布之间的偏移有关——越是到生成的后半段，这种偏移就越显著，而密集的教师监督恰恰放大了偏移带来的噪音。

那咱们该怎么看这个发现呢？首先，它给大模型蒸馏里的“监督粒度”敲了一记警钟。当前很多AI团队都在尝试通过强教师来快速训练小模型，但新的证据表明，无差别地对所有令牌施加监督并非最优策略。也许更聪明的做法是：只对前段或中段的关键令牌进行稀疏监督，或者根据学生当前的学习状态动态调整监督的密度。这确实给研究界提了个醒——看似简单的“强到弱蒸馏”背后，藏着远比想象复杂的动态机制。

总体上，这篇论文的价值在于它用严谨的实证打破了“密集反馈必然促进学习”的教条。对于正在训练中小尺寸AI模型的开发者来说，局部可教性崩溃的概念提供了一个非常实用的诊断视角：当你的学生模型在某个任务上死活学不会时，不妨先检查一下后段的令牌监督是不是反而成了干扰源。毕竟，教学生和教模型有时候是同一个道理——讲了太多细节，反而让孩子没了方向。