一种用于大孔洞图像补全的结构引导扩散模型
计算机视觉与模式识别
2023-09-07 v3
摘要
图像补全技术在填充图像中缺失区域（即孔洞）方面已取得显著进展。然而，由于结构信息有限，大孔洞补全仍具挑战性。在本文中，我们通过将显式结构引导整合进基于扩散的图像补全来解决此问题，形成我们的结构引导扩散模型（SGDM）。其由两个级联的扩散概率模型组成：结构与纹理生成器。结构生成器生成表示孔洞内合理结构的边缘图像，随后用于引导纹理生成过程。为联合训练两个生成器，我们设计了一种利用最优贝叶斯去噪的新策略，其单步对结构生成器输出去噪从而允许反向传播。我们基于扩散的方法实现了多样合理补全，而可编辑边缘允许编辑图像的部分。我们在自然场景（Places）与人脸（CelebA-HQ）数据集上的实验表明，相较最先进方法，我们的方法取得了更优或可比的视觉质量。代码供研究目的见于 https://github.com/UdonDa/Structure_Guided_Diffusion_Model。
引用
@article{arxiv.2211.10437,
title = {A Structure-Guided Diffusion Model for Large-Hole Image Completion},
author = {Daichi Horita and Jiaolong Yang and Dong Chen and Yuki Koyama and Kiyoharu Aizawa and Nicu Sebe},
journal= {arXiv preprint arXiv:2211.10437},
year = {2023}
}
备注
BMVC2023. Code: https://github.com/UdonDa/Structure_Guided_Diffusion_Model