中文

UniPC:用于扩散模型快速采样的统一预测-校正框架

机器学习 2023-10-18 v4 计算机视觉与模式识别

摘要

扩散概率模型(DPMs)已展现出在高分辨率图像合成方面极具前景的能力。然而,由于去噪网络的多次评估,从预训练DPM中采样十分耗时,使得加速DPM采样变得愈发重要。尽管近期在快速采样器设计上取得进展,现有方法在许多偏好更少步数(如 <<10)的应用中仍无法生成令人满意的图像。本文中,我们开发了一种统一校正器(UniC),可应用于任何现有DPM采样器之后以提升精度阶数而无需额外模型评估,并推导出支持任意阶数的统一预测器(UniP)作为副产物。结合UniP与UniC,我们提出称为UniPC的统一预测-校正框架用于DPM快速采样,其具有任意阶数的统一解析形式,并能显著提升先前方法的采样质量,尤其在极少步数下。我们通过包括使用像素空间和潜空间DPM的无条件与条件采样的广泛实验评估我们的方法。我们的UniPC仅用10次函数评估即可在CIFAR10(无条件)上达到3.87 FID,在ImageNet 256×\times256(有条件)上达到7.51 FID。代码见 https://github.com/wl-zhao/UniPC。

关键词

引用

@article{arxiv.2302.04867,
  title  = {UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models},
  author = {Wenliang Zhao and Lujia Bai and Yongming Rao and Jie Zhou and Jiwen Lu},
  journal= {arXiv preprint arXiv:2302.04867},
  year   = {2023}
}

备注

Accepted by NeurIPS 2023. Project page: https://unipc.ivg-research.xyz