单步生成模型在线偏好微调方法DrPO提出漂移偏好优化

研究人员提出了一种名为DrPO（漂移偏好优化）的在线偏好微调方法，专门针对单步生成模型优化。单步生成模型能一次前向传播就生成图像，部署起来简洁高效，可偏好微调这一步，咱们一直没找到特别顺手的工具——传统方法不是依赖策略似然，就是卡在去噪轨迹或可微奖励梯度上，根本没法直接拿来用。DrPO的做法挺直接：对每个提示，从当前生成器里采样一批候选结果，再用目标奖励模型给它们排序，从而驱动后续优化。可以说，这算是给单步生成器的偏好微调开了条新路。

单步生成模型的尴尬：快是快，但怎么调教？

单步文本到图像生成器，说白了就是算得快，一张图一出手就出来了。可这“快”也带来了麻烦——传统偏好对齐算法几乎都假设你能拿到策略概率或者走一整套噪声去噪流程，单步模型偏偏不具备这些东西。梯度呢？不可微。测试时优化呢？太慢。这不就卡住了吗？DrPO的定位就是解决这个矛盾：它不碰那些复杂路径，而是直接在生成结果上做在线采样，用当前版本的生成器产出几张图，然后让奖励模型来打分排名，然后依此调整生成策略。实际上，这一步就把偏好信号嵌进了单步生成的逻辑里。

漂移偏好优化：名字有点怪，思路其实挺直白

为什么叫“漂移”？因为生成器在训练中不断更新，候选样本的分布也在不断“漂移”。DrPO的做法是动态捕捉这种漂移，让优化方向始终跟着最新的奖励信号走。具体流程可以归纳为：

• 第一步，对每个提示词，从当前生成器里跑出多个候选图像。
• 第二步，用目标奖励函数给这些候选结果打分，挑出好的和差的。
• 第三步，根据偏好排序，反向传播更新生成器的参数。

整个过程循环进行，每一步都用最新的生成器来采候选，这就避免了用旧样本去拟合新偏好那种“刻舟求剑”的毛病。所谓的“漂移”，其实是在不断移动的目标上跟进优化，保持对齐的时效性。

和其他方法比，DrPO胜在哪？

传统方法往往得假设你有完整的概率模型或者可微的奖励函数，单步生成器偏偏在这两方面都先天不足。有人说，那就直接上强化学习呗——可强化学习又要采样又要策略梯度，搞下来计算成本高不少。DrPO的巧妙在于，它只用了一对“生成器 → 奖励打分”的闭环，绕开了所有依赖去噪轨迹和策略似然的复杂设计。说白了，它把偏好微调这件事简化成了“生成结果 → 排序 → 更新”的三步流程，单步模型的简洁性被保住了，微调效果也没问题。

接下来呢？在线采样让模型越调越准

DrPO把“在线”这个关键词做实了：每一步优化，用的都是当前生成器自己产出的样本，而不是固定数据集里预先算好的东西。这意味着生成器每迭代一次，它看到的候选结果就能更贴合当下的奖励标准。你可以设想一下，如果模型一开始总是生成模糊图，奖励模型给它低分，DrPO就会在下一轮疯狂压制模糊的那个选项；等生成器学会出清晰图了，奖励模型又会抬高分，继续推动它向着更精细的方向走。这不就跟咱们人类反复练习、看反馈、再改进一样吗？没错，DrPO本质上是一套“生成 → 评价 → 修正”的循环系统，靠在线数据驱动自己的进化。这一方法的提出，算是给追求高效部署的生成应用提供了挺现实的一条技术路线。