中文

SEEDS:用于扩散模型快速高质量采样的指数型 SDE 求解器

机器学习 2023-10-27 v2 计算机视觉与模式识别 数值分析 数值分析

摘要

一类被称为扩散概率模型(DPMs)的强大生成模型已崭露头角。前向扩散过程逐步向数据添加噪声,而模型学习逐步去噪。从预训练 DPM 中采样是通过求解由所学模型定义的微分方程(DE)获得的,这一过程已被证明极其缓慢。大量加速该过程的努力集中于设计强大的 ODE 求解器。尽管速度快,此类求解器通常无法达到现有缓慢 SDE 求解器所实现的最优质量。我们的目标是提出能够达到最优质量且无需数百或数千次 NFE 的 SDE 求解器。我们提出了随机显式指数无导数求解器(SEEDS),在多个框架上将指数积分器方法改进并推广到随机情形。在仔细分析扩散 SDE 精确解的构造后,我们设计 SEEDS 以解析计算此类解的线性部分。受指数时间差分法启发,SEEDS 对解的随机分量采用新颖处理,使其能够解析计算方差,并包含高阶项,从而以比先前 SDE 方法快约 33-5×5\times 的速度达到最优质量采样。我们在多个图像生成基准上验证了我们的方法,表明 SEEDS 优于或与先前 SDE 求解器具有竞争力。与后者相反,SEEDS 无需导数与训练,并且我们为其提供了强收敛保证的完备证明。

关键词

引用

@article{arxiv.2305.14267,
  title  = {SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models},
  author = {Martin Gonzalez and Nelson Fernandez and Thuy Tran and Elies Gherbi and Hatem Hajri and Nader Masmoudi},
  journal= {arXiv preprint arXiv:2305.14267},
  year   = {2023}
}

备注

60 pages. Camera-Ready version for the 37th Conference on Neural Information Processing Systems (NeurIPS 2023)