SciRE-Solver：通过带递归差分的得分被积函数求解器加速扩散模型采样
机器学习
2023-09-12 v3 机器学习
动力系统
统计计算
摘要
扩散模型（DMs）在图像、音频和视频生成领域取得了显著进展。DMs 的一个缺点是迭代过程缓慢。近期的快速采样算法从微分方程的角度设计。然而，在基于泰勒展开的高阶算法中，由于大规模预训练神经网络的复杂性，估计得分函数（score function）的导数变得难以处理。受此驱动，本文引入递归差分（RD）方法来计算 DMs 中得分函数的导数。基于 RD 方法和得分被积函数的截断泰勒展开，我们提出了具有收敛阶保证的 SciRE-Solver，用于加速 DMs 的采样。为了进一步研究 RD 方法的有效性，我们还基于 RD 方法和指数积分器提出了一种变体 SciREI-Solver。我们提出的带 RD 方法的采样算法在各类得分函数评估次数（NFE）下，相较于现有的免训练采样算法，在离散时间和连续时间预训练 DMs 上均达到了最先进（SOTA）的 FID。值得注意的是，使用较少 NFE 的 SciRE-Solver 展现出超越某些预训练模型在其原始论文中使用不少于 次 NFE 所达到的 FID 的潜力。例如，在 CIFAR-10 上，我们以连续时间 DM 的 次 NFE 达到 的 SOTA FID，以离散时间 DM 的 次 NFE 达到 的 FID；在 CelebA 6464 上，以离散时间 DM 的 （）次 NFE 达到 （2.02）的 FID。
引用
@article{arxiv.2308.07896,
title = {SciRE-Solver: Accelerating Diffusion Models Sampling by Score-integrand Solver with Recursive Difference},
author = {Shigui Li and Wei Chen and Delu Zeng},
journal= {arXiv preprint arXiv:2308.07896},
year = {2023}
}