基于可学习双向注意力图的图像修复
计算机视觉与模式识别
2019-09-06 v3
摘要
大多数基于卷积网络（CNN）的修复方法采用标准卷积无差别地对待有效像素与空洞，使其在应对不规则空洞时能力有限，且更易产生具有色彩差异与模糊感的修复结果。已有研究提出部分卷积以解决此问题，但其采用手工设计的特徵重归一化，且只考虑前向掩码更新。本文提出一种可学习的注意力图模块，以端到端方式学习特徵重归一化与掩码更新，能有效适应不规则空洞及卷积层的传播。此外，引入可学习的反向注意力图，使 U-Net 的解码器专注于填补不规则空洞，而非同时重建空洞与已知区域，从而形成我们的可学习双向注意力图。定性与定量实验表明，我们的方法在生成更锐利、更连贯且视觉上更合理的修复结果方面优于当前最优方法（SOTA）。源代码与预训练模型将公开。
引用
@article{arxiv.1909.00968,
title = {Image Inpainting with Learnable Bidirectional Attention Maps},
author = {Chaohao Xie and Shaohui Liu and Chao Li and Ming-Ming Cheng and Wangmeng Zuo and Xiao Liu and Shilei Wen and Errui Ding},
journal= {arXiv preprint arXiv:1909.00968},
year = {2019}
}
备注
18 pages, 16 figures, 2 tables, main paper + supplementary material (Accepted at ICCV, 2019)