用于改进生成过程的重启采样

Yilun Xu; Mingyang Deng; Xiang Cheng; Yonglong Tian; Ziming Liu; Tommi Jaakkola

用于改进生成过程的重启采样

机器学习 2023-11-02 v2 计算机视觉与模式识别统计计算机器学习

作者: Yilun Xu , Mingyang Deng , Xiang Cheng , Yonglong Tian , Ziming Liu , Tommi Jaakkola

摘要

涉及求解微分方程的生成过程，如扩散模型，经常需要权衡速度与质量。基于 ODE 的采样器速度快但性能趋于平稳，而基于 SDE 的采样器以更长的采样时间为代价提供更高的样本质量。我们将这种差异归因于采样误差：ODE 采样器涉及较小的离散化误差，而 SDE 中的随机性收缩了累积误差。基于这些发现，我们提出一种称为 Restart 的新颖采样算法，以更好地平衡离散化误差与收缩。该采样方法在额外的正向步骤中交替添加大量噪声，并严格遵循反向 ODE。经验上，Restart 采样器在速度与精度上均超越先前的 SDE 和 ODE 采样器。Restart 不仅优于先前最佳的 SDE 结果，还在 CIFAR-10 / ImageNet $64 \times 64$ 上将采样速度加速了 10 倍 / 2 倍。此外，在可比的采样时间内，它获得了显著优于 ODE 采样器的样本质量。而且，在大规模基于 LAION $512 \times 512$ 预训练的文本到图像 Stable Diffusion 模型中，Restart 比先前的采样器更好地平衡了文本-图像对齐/视觉质量与多样性。代码可在 https://github.com/Newbeeer/diffusion_restart_sampling 获取

关键词

生成模型扩散模型重启采样 ODE采样器 SDE采样器采样效率文本到图像

引用

@article{arxiv.2306.14878,
  title  = {Restart Sampling for Improving Generative Processes},
  author = {Yilun Xu and Mingyang Deng and Xiang Cheng and Yonglong Tian and Ziming Liu and Tommi Jaakkola},
  journal= {arXiv preprint arXiv:2306.14878},
  year   = {2023}
}

备注

Code is available at https://github.com/Newbeeer/diffusion_restart_sampling

用于改进生成过程的重启采样

摘要

关键词

引用

备注

相关论文