Uni-Instruct：基于统一扩散散度指令的单步扩散模型
机器学习
2025-10-23 v4 计算机视觉与模式识别
摘要
本文提出了统一框架 Uni-Instruct，将超过10种现有单步扩散蒸馏方法（如 Diff-Instruct、DMD、SIM、SiD、-distill 等）纳入理论驱动的框架中。Uni-Instruct 的设计灵感来自我们提出的 -divergence 族的扩散扩张理论。随后，我们引入关键理论，以克服原始扩散扩张 -divergence 的不可计算问题，得到等价且可计算的损失函数，从而有效地通过最小化扩散 -divergence 族来训练单步扩散模型。Uni-Instruct 所引入的新颖统一方法，不仅提供了有助于从高层视角理解现有方法的新理论贡献，还实现了单步扩散生成的性能提升。在 CIFAR10 生成基准上，Uni-Instruct 实现了无条件生成和条件生成的 FID 分别达到记录破纪录的 \textbf{\emph{1.46}} 和 \textbf{\emph{1.38}}。在 ImageNet- 生成基准上，Uni-Instruct 实现了新的单步生成 FID 记录 \textbf{\emph{1.02}}，相较于其 79 步教师扩散模型以显著优势的提升幅度 1.33（1.02 vs 2.35）取得更佳表现。我们还将 Uni-Instruct 应用于更广泛的任务，如文本到 3D 生成。对于文本到 3D 生成任务，Uni-Instruct 给出了令人满意的结果，稍微优于 SDS 和 VSD 等以生成质量和多样性等方面的表现。Uni-Instruct 的坚实理论与实证贡献将为未来研究单步扩散蒸馏及扩散模型知识迁移提供潜在帮助。
引用
@article{arxiv.2505.20755,
title = {Uni-Instruct: One-step Diffusion Model through Unified Diffusion Divergence Instruction},
author = {Yifei Wang and Weimin Bai and Colin Zhang and Debing Zhang and Weijian Luo and He Sun},
journal= {arXiv preprint arXiv:2505.20755},
year = {2025}
}