用于图像修复的循环特征推理
计算机视觉与模式识别
2020-08-11 v1
摘要
现有的修复方法在恢复规则或较小的图像缺陷方面已取得令人满意的性能。然而，由于对孔洞中心缺乏约束，填充大范围连续孔洞仍然困难。本文设计了一种循环特征推理（RFR）网络，其主要由一个即插即用的循环特征推理模块和一个知识一致性注意力（KCA）模块构成。类比于人类解谜的过程（即先解决较容易的部分，再将结果作为额外信息去解决困难部分），RFR 模块循环推断卷积特征图的孔洞边界，并将其作为线索用于进一步推断。该模块逐步加强对孔洞中心的约束，结果变得明确。为在特征图中捕获来自远处位置的信息以服务于 RFR，我们进一步开发了 KCA 并将其嵌入 RFR 中。经实验，我们首先将所提 RFR-Net 与现有骨干网络进行比较，表明 RFR-Net 更高效（例如，在相同模型规模下 SSIM 提升 4%）。随后我们将该网络置于当前最优方法的背景下，其展现出更优的性能。相应源代码可见于：https://github.com/jingyuanli001/RFR-Inpainting
引用
@article{arxiv.2008.03737,
title = {Recurrent Feature Reasoning for Image Inpainting},
author = {Jingyuan Li and Ning Wang and Lefei Zhang and Bo Du and Dacheng Tao},
journal= {arXiv preprint arXiv:2008.03737},
year = {2020}
}
备注
Accepted to CVPR 2020