基于理想导数的扩散生成模型拟泰勒采样器
机器学习
2022-10-12 v2 计算机视觉与模式识别
机器学习
声音
音频与语音处理
摘要
扩散生成模型已成为 GAN 等流行深度神经生成模型的新挑战者，但其缺点在于，除非采用某些复杂的采样策略，否则在合成过程中往往需要大量的神经函数评估（NFEs）。本文提出了基于由熟知的泰勒展开导出的数值格式的新高效采样器，其直接求解所关注的 ODE/SDE。一般而言，计算高阶泰勒格式所需的导数并不容易，但在扩散模型的情形下，这一困难被作者称之为“理想导数替换”的技巧所缓解，其中高阶导数被可处理的导数所取代。为推导理想导数，作者论证了“单点近似”（即真实得分函数被条件得分函数近似）在许多情况下成立，并考虑了该近似的导数。将由此获得的新的拟泰勒采样器应用于图像生成任务，作者通过实验确认所提采样器能以较少的 NFEs 合成可信图像，且性能优于或与 DDIM 和 Runge-Kutta 方法处于同一水平。本文还讨论了所提采样器与上述已有采样器的相关性。
引用
@article{arxiv.2112.13339,
title = {Quasi-Taylor Samplers for Diffusion Generative Models based on Ideal Derivatives},
author = {Hideyuki Tachibana and Mocho Go and Muneyoshi Inahara and Yotaro Katayama and Yotaro Watanabe},
journal= {arXiv preprint arXiv:2112.13339},
year = {2022}
}
备注
Major update from 2112.13339v1. 47 pages, 24 figures