基于迭代置信反馈与引导上采样的高分辨率图像修复
计算机视觉与模式识别
2020-07-15 v2 多媒体
摘要
现有图像修复方法在实际应用中处理大面积缺失时常常产生伪影。为应对这一挑战，我们提出了一种带有反馈机制的迭代修复方法。具体而言，我们引入了一个深度生成模型，它不仅输出修复结果，还输出相应的置信度图。利用该置信度图作为反馈，模型在每次迭代中仅信任空洞内的高置信度像素并逐步填充，同时在下一次迭代中聚焦于剩余像素。由于该方法将前次迭代的部分预测结果作为已知像素加以复用，这一过程能够逐步改善修复效果。此外，我们提出了一种引导上采样网络，通过扩展上下文注意力模块以借用输入图像中的高分辨率特征块，从而实现高分辨率修复结果的生成。为进一步模拟真实物体移除场景，我们收集了一个大型物体掩码数据集，并合成了更贴近用户输入的真实训练数据。实验表明，我们的方法在定量和定性评估上均显著优于现有方法。更多结果与 Web 应用请访问 https://zengxianyu.github.io/iic。
引用
@article{arxiv.2005.11742,
title = {High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling},
author = {Yu Zeng and Zhe Lin and Jimei Yang and Jianming Zhang and Eli Shechtman and Huchuan Lu},
journal= {arXiv preprint arXiv:2005.11742},
year = {2020}
}