CM-GAN：基于级联调制 GAN 与对象感知训练的图像修复
计算机视觉与模式识别
2022-07-22 v3
摘要
近期的图像修复方法已取得很大进展，但在处理复杂图像中的大孔洞时，往往难以生成合理的图像结构。这部分是由于缺乏能够有效捕捉图像长程依赖与高层语义的网络结构。我们提出级联调制 GAN（CM-GAN），一种新的网络设计，由一个带有 Fourier 卷积块的编码器（从带孔洞的输入图像中提取多尺度特征表示）和一个双流解码器（在每个尺度层级带有新颖的级联全局-空间调制块）组成。在每个解码器块中，首先应用全局调制以执行粗粒度且语义感知的结构合成，随后进行空间调制以空间自适应地进一步调整特征图。此外，我们设计了一种对象感知训练方案，以防止网络在孔洞内虚构新对象，满足现实场景中对象移除任务的需求。我们进行了大量实验，表明我们的方法在定量与定性评估上均显著优于现有方法。请参阅项目页面：\url{https://github.com/htzheng/CM-GAN-Inpainting}。
引用
@article{arxiv.2203.11947,
title = {CM-GAN: Image Inpainting with Cascaded Modulation GAN and Object-Aware Training},
author = {Haitian Zheng and Zhe Lin and Jingwan Lu and Scott Cohen and Eli Shechtman and Connelly Barnes and Jianming Zhang and Ning Xu and Sohrab Amirghodsi and Jiebo Luo},
journal= {arXiv preprint arXiv:2203.11947},
year = {2022}
}
备注
32 pages, 19 figures