中文

从后向误差分析视角看扩散概率模型的快速采样

计算机视觉与模式识别 2023-04-25 v1 人工智能

摘要

去噪扩散概率模型(DDPMs)是一类强大的生成模型。过去几年见证了 DDPMs 在生成高保真样本方面的巨大成功。DDPMs 的一个显著局限是采样过程缓慢。DDPMs 通常需要神经网络数百或数千次顺序函数评估(步数)来生成一个样本。本文旨在开发一种仅需极少步数同时保持高样本质量的 DDPMs 快速采样方法。DDPMs 的推理过程近似于在连续极限下求解相应的扩散常微分方程(扩散 ODEs)。本工作分析了后向误差如何影响 DDPMs 中的扩散 ODEs 与样本质量。我们提出了基于动态调节长时间后向误差的\textbf{限制后向误差调度(RBE 调度)}的快速采样方法。我们的方法无需任何额外训练即可加速 DDPMs。我们的实验表明,在多个基准数据集上,采用 RBE 调度的采样仅在 8 至 20 次函数评估内即可生成高质量样本。我们在 ImageNet 128×128128\times128 上以 8 次函数评估取得了 12.01 FID,并且相比先前基线采样器实现了 20×20\times 加速。

关键词

引用

@article{arxiv.2304.11446,
  title  = {Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis},
  author = {Yansong Gao and Zhihong Pan and Xin Zhou and Le Kang and Pratik Chaudhari},
  journal= {arXiv preprint arXiv:2304.11446},
  year   = {2023}
}

备注

arXiv admin note: text overlap with arXiv:2101.12176 by other authors