通过带特征均衡的互编解码器重新思考图像修复
计算机视觉与模式识别
2020-07-15 v1
摘要
基于深度编解码器的CNN已推进了用于孔洞填充的图像修复方法。现有方法逐步恢复孔洞区域中的结构与纹理，但通常使用两个编解码器分别进行恢复。各编码器的CNN特征被学习以捕获缺失结构或纹理之一，而未将其作为整体考虑。对这些编码器特征的利用不足限制了结构与纹理的恢复性能。本文中，我们提出一种互编解码器CNN以联合恢复二者。我们使用编码器深层与浅层CNN特征分别表征输入图像的结构与纹理。深层特征送入结构分支，浅层特征送入纹理分支。在各分支中，我们在CNN特征的多个尺度上填充孔洞。两分支中填充后的CNN特征被拼接并随后均衡化。在特征均衡过程中，我们先重新加权通道注意力，并提出一种双边传播激活函数以实现空间均衡。至此，结构与纹理的填充CNN特征相互裨益，在所有特征层级上表征图像内容。我们利用均衡后特征通过跳跃连接补充解码器特征以生成输出图像。在基准数据集上的实验表明，所提方法能有效恢复结构与纹理，且优于当前最优方法。
引用
@article{arxiv.2007.06929,
title = {Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations},
author = {Hongyu Liu and Bin Jiang and Yibing Song and Wei Huang and Chao Yang},
journal= {arXiv preprint arXiv:2007.06929},
year = {2020}
}
备注
Accepted by ECCV2020(oral)