用于去噪扩散概率模型的空间-频率 U-Net
计算机视觉与模式识别
2023-07-28 v1 机器学习
摘要
在本文中，我们研究在 wavelet 空间而非像素空间中去噪扩散概率模型（DDPM）以用于视觉合成。考虑到小波变换在空间和频率域表示图像，我们精心设计了新颖的架构 SFUNet 以有效捕获两个域的相关性。具体而言，在用于像素数据的标准去噪 U-Net 中，我们用我们的空间频率感知卷积和注意力模块补充了 2D 卷积和仅空间的注意力层，以联合建模小波数据中来自空间和频率域的互补信息。我们的新架构可用作基于像素网络的即插即用替代，并且与原始 DDPM 训练过程兼容。通过显式建模小波信号，我们发现我们的模型能够在 CIFAR-10、FFHQ、LSUN-Bedroom 和 LSUN-Church 数据集上生成比基于像素的对应模型质量更高的图像。
引用
@article{arxiv.2307.14648,
title = {Spatial-Frequency U-Net for Denoising Diffusion Probabilistic Models},
author = {Xin Yuan and Linjie Li and Jianfeng Wang and Zhengyuan Yang and Kevin Lin and Zicheng Liu and Lijuan Wang},
journal= {arXiv preprint arXiv:2307.14648},
year = {2023}
}