UniPC:用于扩散模型快速采样的统一预测-校正框架
机器学习
2023-10-18 v4 计算机视觉与模式识别
摘要
扩散概率模型(DPMs)已展现出在高分辨率图像合成方面极具前景的能力。然而,由于去噪网络的多次评估,从预训练DPM中采样十分耗时,使得加速DPM采样变得愈发重要。尽管近期在快速采样器设计上取得进展,现有方法在许多偏好更少步数(如 10)的应用中仍无法生成令人满意的图像。本文中,我们开发了一种统一校正器(UniC),可应用于任何现有DPM采样器之后以提升精度阶数而无需额外模型评估,并推导出支持任意阶数的统一预测器(UniP)作为副产物。结合UniP与UniC,我们提出称为UniPC的统一预测-校正框架用于DPM快速采样,其具有任意阶数的统一解析形式,并能显著提升先前方法的采样质量,尤其在极少步数下。我们通过包括使用像素空间和潜空间DPM的无条件与条件采样的广泛实验评估我们的方法。我们的UniPC仅用10次函数评估即可在CIFAR10(无条件)上达到3.87 FID,在ImageNet 256256(有条件)上达到7.51 FID。代码见 https://github.com/wl-zhao/UniPC。
引用
@article{arxiv.2302.04867,
title = {UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models},
author = {Wenliang Zhao and Lujia Bai and Yongming Rao and Jie Zhou and Jiwen Lu},
journal= {arXiv preprint arXiv:2302.04867},
year = {2023}
}
备注
Accepted by NeurIPS 2023. Project page: https://unipc.ivg-research.xyz