用于高分辨率图像合成的块化去噪扩散模型
计算机视觉与模式识别
2023-08-03 v1
摘要
我们提出了一种有效的去噪扩散模型，用于生成高分辨率图像（如 1024512），并在小尺寸图像块（如 6464）上训练。我们将该算法命名为 Patch-DM，其中设计了一种新的特征拼贴策略，以避免在合成大尺寸图像时的边界伪影。特征拼贴系统地裁剪并组合相邻块的部分特征，以预测偏移图像块的特征，由于块特征空间中的重叠，可实现整幅图像的无缝生成。Patch-DM 在我们新收集的自然图像数据集（1024512）以及较小尺寸（256256）的标准基准（包括 LSUN-Bedroom、LSUN-Church 和 FFHQ）上均产生了高质量的图像合成结果。我们将方法与以往的基于块生成的方法进行比较，并在全部四个数据集上取得了最先进的 FID 分数。此外，与经典扩散模型相比，Patch-DM 还降低了内存复杂度。
引用
@article{arxiv.2308.01316,
title = {Patched Denoising Diffusion Models For High-Resolution Image Synthesis},
author = {Zheng Ding and Mengqi Zhang and Jiajun Wu and Zhuowen Tu},
journal= {arXiv preprint arXiv:2308.01316},
year = {2023}
}