将扩散模型的 ODE 求解器蒸馏为更小步长
计算机视觉与模式识别
2024-03-28 v2
摘要
扩散模型近来作为一种新型生成模型受到关注。尽管取得成功，这些模型在采样速度慢方面存在显著缺陷，需要数百乃至数千次函数评估（NFE）。为此，已有研究探索了无学习与基于学习的采样策略以加速采样过程。无学习采样基于扩散 ODE 公式采用多种常微分方程（ODE）求解器，但在忠实追踪真实采样轨迹方面面临挑战，尤其当 NFE 较小时。相反，基于学习的方法（如知识蒸馏）需要大量额外训练，限制了其实用性。为克服这些局限，我们提出 Distilled-ODE 求解器（D-ODE 求解器），一种基于 ODE 求解器公式的简单蒸馏方法。我们的方法无缝融合了无学习与基于学习采样的优势。D-ODE 求解器通过对现有 ODE 求解器引入单一参数调整而构建。此外，我们利用较大步长 ODE 求解器在批量样本上的知识蒸馏来优化较小步长的 D-ODE 求解器。综合实验表明，D-ODE 求解器优于现有 ODE 求解器（包括 DDIM、PNDM、DPM-Solver、DEIS 和 EDM），尤其在 NFE 较少的场景下。值得注意的是，与先前蒸馏技术相比，我们的方法计算开销可忽略，便于与现有采样器直接快速集成。定性分析显示，D-ODE 求解器不仅提升图像质量，还忠实遵循目标 ODE 轨迹。
引用
@article{arxiv.2309.16421,
title = {Distilling ODE Solvers of Diffusion Models into Smaller Steps},
author = {Sanghwan Kim and Hao Tang and Fisher Yu},
journal= {arXiv preprint arXiv:2309.16421},
year = {2024}
}