用于真实感图像修复的纹理变换注意力机制
计算机视觉与模式识别
2020-12-09 v1
摘要
近年来，利用深度神经网络进行填充缺失区域的图像修复性能取得了显著提升。大多数图像修复工作能生成视觉上合理的结构与纹理，然而由于它们常生成模糊的结果，最终输出显得不真实并产生异质感。为解决此问题，现有方法采用了基于图块的深度神经网络方案，但这些方法仍无法正确地迁移纹理。受此启发，我们提出一种基于图块的方法——纹理变换注意力网络（TTA-Net），能够更好地生成具有精细细节的缺失区域修复结果。该任务采用单一精修网络，形式为 U-Net 架构，通过跳跃连接将编码器的精细纹理特征迁移至解码器的粗略语义特征。纹理变换注意力利用精细纹理和粗略语义创建新的重组纹理图，从而能够高效地迁移纹理信息。为稳定训练过程，我们使用了真实标签的 VGG 特征层和图块判别器。我们在公开数据集 CelebA-HQ 和 Places2 上对模型进行端到端评估，并证明相较于现有的 SOTA 方法，该方法能够获得更高质量的图像。
引用
@article{arxiv.2012.04242,
title = {Texture Transform Attention for Realistic Image Inpainting},
author = {Yejin Kim and Manri Cheon and Junwoo Lee},
journal= {arXiv preprint arXiv:2012.04242},
year = {2020}
}