JLT：在FLUX.2 VAE潜空间上进行干净预测的130M扩散Transformer

JLT：在FLUX.2 VAE潜空间上进行干净预测的130M扩散Transformer

日前，一项名为JLT的新研究在AI社区引发关注。该研究由学术团队提出，核心是构建了一个130M参数的扩散Transformer，专门在FLUX.2 VAE的潜空间内进行干净预测。论文预印本已发表在arXiv，编号2605.27102。这项工作的重点在于验证一个关键假设：当图像已被映射到高度压缩的潜空间后，干净预测原则是否依然有效？

干净预测的核心理念

在流匹配框架中，干净数据预测被证明比预测含噪的周边量更具优势。它能够更高效地利用低维结构。JLT团队的思路其实挺直接：既然原始像素的变异性已经被VAE大幅压缩，那在潜空间里做干净预测，是不是能保留更多有效信息？答案是肯定的。他们选择在冻结的FLUX.2 VAE编码上运行JLT，这就保证了底层表示的稳定性。

对比速度预测DiT

为了公平验证，研究团队将JLT与一个经过匹配的速度预测DiT进行了直接对比。两者共享完全相同的表示空间和骨干网络，唯一的变量就是预测目标。凭什么说干净预测更优呢？实验结果给出了明确信号——在同样的架构和计算资源下，JLT在潜空间中的预测质量确实更高。这种控制变量的对比方法，可以说排除了许多干扰因素，让结论更有说服力。

模型设计的巧妙之处

JLT的模型规模浓缩在130M参数，但它在潜空间中的处理方式做了调整。作者们没有简单照搬像素空间的做法，而是针对FLUX.2 VAE的编码特性，优化了扩散Transformer的预测路径。这就像咱们在精装房里操作，工具得配合已有的管线，而不是硬砸墙改造。模型通过干净预测，直接尝试还原潜空间中的干净数据点，而不是路径上的速度或噪声。

对生成模型的意义

这项研究实际上在追问一个基础问题：在高度压缩的表征层，干净预测的优势还能保留吗？结果证明确实可以。这对于新一代潜扩散模型的进化挺有启发。想象一下，如果未来的模型都能在更干净的潜空间里进行预测，生成速度和质量会不会再上一个台阶？JLT算是为这个方向铺了一块基石。

不妨回归本质看看

整个研究其实就围绕一个核心：干净预测原则从像素空间迁移到潜空间后，价值是否打折？JLT的实验给出了清晰答案——不仅没有打折，反而因为潜空间的低秩特性，让预测更聚焦。这真的挺让人兴奋，毕竟在AI行业，能确认一个原则在不同维度都生效，本身就意味着通用性的提升。