基于边缘引导可学习双向注意力图的图像修复
计算机视觉与模式识别
2021-04-27 v1
摘要
在图像修复中，以往方法的卷积神经网络（CNN）常采用标准卷积算子，将有效像素与空洞无差别对待。因此，它们在处理不规则空洞时受限，且易产生色彩差异和模糊的修复结果。部分卷积（PConv）通过仅基于有效像素进行掩码卷积和特征重归一化来解决该问题，但掩码更新是手工设计的且与图像结构信息无关。本文提出一种边缘引导可学习双向注意力图（Edge-LBAM），以若干显著优势改进不规则空洞的图像修复。我们引入可学习注意力图模块以端到端方式学习特征重归一化与掩码更新，而非使用硬 0-1 掩码。进一步在解码器中提出可学习反向注意力图，以强调填充未知像素而非重建所有像素。受基于样例的方法中填充顺序对修复结果至关重要且很大程度上依赖图像结构的启发，我们进一步提出多尺度边缘补全网络以预测连贯边缘。我们的 Edge-LBAM 方法包含双重过程：由预测边缘引导的结构感知掩码更新，以及由掩码生成用于特征重归一化的注意力图。大量实验表明，我们的 Edge-LBAM 能有效生成连贯图像结构并防止色彩差异与模糊，在定性指标和视觉质量上均优于当前最优方法。
引用
@article{arxiv.2104.12087,
title = {Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps},
author = {Dongsheng Wang and Chaohao Xie and Shaohui Liu and Zhenxing Niu and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2104.12087},
year = {2021}
}
备注
16 pages,13 figures