基于掩码感知端到端级联细化的图像修复
计算机视觉与模式识别
2021-05-19 v1
摘要
修复任意缺失区域具有挑战性，因为为各种被掩码区域学习有效特征并非易事。尽管U形编码器-解码器框架已被证明是成功的，但它们大多存在一个共同缺陷，即在特征提取中缺乏掩码感知，因为所有卷积窗口（或区域），包括那些具有各种形状缺失像素的窗口，都被平等对待并用固定的学习卷积核进行滤波。为此，我们提出了一种新颖的掩码感知修复方案。首先，设计了一个掩码感知动态滤波（MADF）模块，在编码阶段为缺失区域有效学习多尺度特征。具体而言，每个卷积窗口的滤波器由掩码对应区域的特征生成。第二层掩码感知通过在解码阶段采用逐点归一化（PN）来实现，考虑到被掩码点处特征的统计特性与未掩码点不同。所提出的PN可通过动态分配逐点缩放因子和偏置来解决此问题。最后，我们的模型被设计为端到端级联细化模型。重建损失、感知损失和总变分损失等监督信息被逐步利用，以将修复结果从粗到精地提升。所提框架的有效性通过在Places2、CelebA和Paris StreetView三个公开数据集上的大量实验在定量和定性上得到了验证。
引用
@article{arxiv.2104.13743,
title = {Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness},
author = {Manyu Zhu and Dongliang He and Xin Li and Chao Li and Fu Li and Xiao Liu and Errui Ding and Zhaoxiang Zhang},
journal= {arXiv preprint arXiv:2104.13743},
year = {2021}
}
备注
IEEE TIP, to appear