加速基于分数生成模型的高分辨率图像合成
计算机视觉与模式识别
2022-06-13 v3 机器学习
摘要
基于分数的生成模型（SGMs）近来已成为一类有前景的生成模型。其关键思想是通过向高斯样本反复添加高斯噪声和梯度，直至收敛到目标分布（即扩散采样）来生成高质量图像。然而，为确保采样收敛的稳定性和生成质量，该序列采样过程必须采用小步长并经历多次采样迭代（例如 2000 次）。已有若干加速方法提出，但聚焦于低分辨率生成。本工作中，我们考虑加速 SGMs 的高分辨率生成，这是一个更具挑战性却更重要的课题。我们从理论上证明，这种收敛缓慢的缺陷主要源于对目标分布的忽视。进一步，我们借助空间与频域中的结构先验，提出一种新颖的目标分布感知采样（TDAS）方法。在 CIFAR-10、CelebA、LSUN 和 FFHQ 数据集上的大量实验验证，TDAS 能一致地加速最优 SGMs，尤其在更具挑战性的高分辨率（1024x1024）图像生成任务上最高加速 18.4 倍，同时大体保持合成质量。在更少采样迭代下，TDAS 仍能生成良好质量的图像。相比之下，现有方法性能急剧退化甚至完全失败。
引用
@article{arxiv.2206.04029,
title = {Accelerating Score-based Generative Models for High-Resolution Image Synthesis},
author = {Hengyuan Ma and Li Zhang and Xiatian Zhu and Jingfeng Zhang and Jianfeng Feng},
journal= {arXiv preprint arXiv:2206.04029},
year = {2022}
}