中文

R-MNet:一种用于图像修复的感知对抗网络

计算机视觉与模式识别 2020-11-10 v3

摘要

人脸图像修复是一个被广泛研究的问题,近年来生成对抗网络(GAN)的引入推动了该领域的进展。遗憾的是一些问题依然存在,特别是在将缺失像素与可见像素融合时。我们通过提出一种 Wasserstein GAN 结合新的反向掩码算子,即反向掩码网络(R-MNet)——一种用于图像修复的感知对抗网络,来解决该问题。反向掩码算子将反向掩码图像传至编码器-解码器网络末端,仅留下有效像素待修复。此外,我们提出在特征空间中计算且仅针对有效像素的新损失函数,并结合对抗训练。这些进而捕获数据分布并生成与训练数据相似的图像,在输出图像上实现真实感(真实且连贯)。我们在公开可用数据集上评估了该方法,并与最先进(state-of-the-art)方法比较。我们表明,该方法能泛化至高分辨率修复任务,并进一步展示出相较于最先进方法对人工视觉系统而言更合理的真实输出。

关键词

引用

@article{arxiv.2008.04621,
  title  = {R-MNet: A Perceptual Adversarial Network for Image Inpainting},
  author = {Jireh Jam and Connah Kendrick and Vincent Drouard and Kevin Walker and Gee-Sern Hsu and Moi Hoon Yap},
  journal= {arXiv preprint arXiv:2008.04621},
  year   = {2020}
}

备注

10 pages, 7 figures, 3 tables