用于图像修复的多特征协同学习
计算机视觉与模式识别
2022-05-24 v1
摘要
图像修复通过同时利用图像结构与纹理特征已取得巨大进展。然而,由于缺乏有效的多特征融合技术,现有图像修复方法提升仍有限。本文设计了一个用于图像修复的深度多特征协同学习网络,包含软门控双特征融合(SDFF)与双边传播特征聚合(BPFA)模块。具体而言,我们首先使用两个分支分别学习结构特征与纹理特征。随后提出的SDFF模块将结构特征融入纹理特征,同时以纹理特征作为生成结构特征的辅助。这种协同学习策略使结构与纹理特征更一致。接下来,提出的BPFA模块通过协同学习上下文注意力、通道信息与特征空间,增强从局部特征到整体一致性的连接,从而进一步精炼生成的结构与纹理。最后,在包括CelebA、Places2和Paris StreetView的基准数据集上进行了充分实验。实验结果证明了所提方法优于当前最优方法。源代码见https://github.com/GZHU-DVL/MFCL-Inpainting。
引用
@article{arxiv.2205.10578,
title = {Multi-feature Co-learning for Image Inpainting},
author = {Jiayu Lin and Yuan-Gen Wang and Wenzhi Tang and Aifeng Li},
journal= {arXiv preprint arXiv:2205.10578},
year = {2022}
}