用于图像修复的相干语义注意力
计算机视觉与模式识别
2019-07-05 v3
摘要
最新的基于深度学习的方法在修复图像缺失区域的挑战性任务中展现出有前景的结果。然而，由于局部像素的不连续性，现有方法常生成纹理模糊且结构扭曲的内容。从语义层面看，局部像素不连续主要是因为这类方法忽略了空洞区域的语义相关性与特征连续性。为处理该问题，我们研究人类修复图片的行为，并提出一种基于精细深度生成模型的方法，其带有新颖的相干语义注意力(Coherent Semantic Attention, CSA)层，该层不仅可保持上下文结构，还能通过建模空洞特征间的语义相关性对缺失部分作出更有效的预测。任务被分为粗糙、精炼两步，并在U-Net架构下以神经网络对各步建模，其中CSA层嵌入于精炼步骤的编码器中。为稳定网络训练过程并促使CSA层学习更有效参数，我们提出一致性损失，以同时强制CSA层及解码器中对应CSA层接近真实图像的VGG特征层。在CelebA、Places2与Paris StreetView数据集上的实验验证了我们所提方法在图像修复任务中的有效性，且相较现有最优(state-of-the-art)方法可获取更高质量的图像。
引用
@article{arxiv.1905.12384,
title = {Coherent Semantic Attention for Image Inpainting},
author = {Hongyu Liu and Bin Jiang and Yi Xiao and Chao Yang},
journal= {arXiv preprint arXiv:1905.12384},
year = {2019}
}