扩散模型采样的指数积分器阶数分析与设计改进
机器学习
2023-08-07 v1
摘要
高效微分方程求解器在保持高采样质量的同时显著减少了扩散模型（DMs）的采样时间。在这些求解器中，指数积分器（EI）因展现出最先进的性能而受到关注。然而，现有的基于高阶 EI 的采样算法依赖于退化的 EI 求解器，导致在最优设置下与理论预期结果相比误差界更差且精度降低。这种情况使得采样质量极易受看似无害的设计选择（如时间步调度）影响。例如，低效的时间步调度器可能需要两倍的步数才能达到通过精心优化时间步所获得的相当质量。为解决此问题，我们重新评估 DMs 高阶微分求解器的设计。通过彻底的阶数分析，我们揭示现有高阶 EI 求解器的退化可归因于缺乏必要的阶条件。通过重新表述 DMs 中的微分方程并利用指数积分器理论，我们提出满足所有阶条件的精炼 EI 求解器，称之为精炼指数求解器（RES）。利用这些改进求解器，RES 在理论上具有更有利的误差界，并在实际应用中实现更优的采样效率与稳定性。例如，在预训练 ImageNet 扩散模型上，当函数求值次数（NFE）=9 时，从单步 DPM-Solver++ 简单切换到我们满足阶条件的 RES 求解器，可使数值缺陷减少 25.2%，FID 提升 25.4%（16.77 对比 12.51）。
引用
@article{arxiv.2308.02157,
title = {Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling},
author = {Qinsheng Zhang and Jiaming Song and Yongxin Chen},
journal= {arXiv preprint arXiv:2308.02157},
year = {2023}
}