JPGNet:面向图像修复的联合预测滤波与生成网络
计算机视觉与模式识别
2021-10-19 v3
摘要
图像修复旨在恢复受损图像的缺失区域,并使修复结果与原完整图像一致,这与强调生成图像自然度或真实感的常见生成任务不同。然而,现有工作通常将其视为纯生成问题,并采用前沿深度生成技术来解决。生成网络能用逼真内容填补主要缺失部分,但通常会扭曲局部结构或引入明显伪影。本文首次将图像修复表述为预测滤波与深度生成两类问题的混合。预测滤波擅长保持局部结构并去除伪影,但难以完成大块缺失区域的填补。深度生成网络可基于对整个场景的理解填补大量缺失像素,却难以恢复与原图一致的细节。为利用各自优势,我们提出联合预测滤波与生成网络(JPGNet),其包含三个分支:预测滤波与不确定性网络(PFUNet)、深度生成网络,以及不确定性感知融合网络(UAFNet)。PFUNet可根据输入图像自适应预测用于基于滤波的修复的像素级核,并输出不确定性图。该图指示应由滤波或生成网络处理的像素,并进一步送入UAFNet以实现滤波结果与生成结果之间的智能结合。需注意,我们的方法作为一种新型修复框架可惠及任何现有的基于生成的方法。我们在Dunhuang、Places2和CelebA三个公开数据集上验证了方法,结果表明我们的方法能以轻微的额外时间成本显著提升三种最先进的生成方法。
引用
@article{arxiv.2107.04281,
title = {JPGNet: Joint Predictive Filtering and Generative Network for Image Inpainting},
author = {Qing Guo and Xiaoguang Li and Felix Juefei-Xu and Hongkai Yu and Yang Liu and Song wang},
journal= {arXiv preprint arXiv:2107.04281},
year = {2021}
}
备注
This work has been accepted to ACM-MM 2021