大规模扩散蒸馏MeanFlow的稳定、扩展与提升
计算机视觉与模式识别
2026-05-19 v1
摘要
扩散模型展现出卓越的生成能力，但其高延迟限制了实际部署。许多研究尝试缩减采样步骤以加速推理。在此过程中，MeanFlow因其简洁表述和卓越性能受到广泛关注。然而，其优化目标的不稳定性和''均值寻优偏差''限制了其用于蒸馏大规模工业模型。为稳定蒸馏大规模模型，我们首先引入热身技术，用离散解替代MeanFlow的原始微分解。此设计可避免因MeanFlow目标中包含来自未充分训练模型的stop-gradient项导致的训练崩溃。当模型获得拟合平均速度场的初步能力后，切换回微分解优化目标，实现进一步精炼。同时，为缓解在极少采样步骤下基于复杂目标分布的MeanFlow''均值寻优偏差'，我们融合轨迹分布对齐作为辅助目标，鼓励学生模型的轨迹分布更贴近教师模型。我们提出的蒸馏框架在应用至最新12B参数的文本到图像(T2I)模型FLUX.1-dev时表现优异。进一步扩展至80B参数的SOTA T2I模型HunyuanImage 3.0，本方法仍显示出稳健的泛化能力和强劲的性能。
引用
@article{arxiv.2605.17834,
title = {Stabilizing, Scaling & Enhancing MeanFlow for Large-scale Diffusion Distillation},
author = {Xiao He and Yang Li and Peizhen Zhang and Songtao Liu and Zhao Zhong and Nannan Wang},
journal= {arXiv preprint arXiv:2605.17834},
year = {2026}
}
备注
10 pages