面向高保真人脸补全的预言监督注意力学习
计算机视觉与模式识别
2020-04-01 v1
摘要
由于涉及丰富而细微的面部纹理，高保真人脸补全是一项具有挑战性的任务。使其更为复杂的是不同面部组件之间的相关性，例如双眼在纹理与结构上的对称性。尽管近期工作采用注意力机制来学习人脸各元素间的上下文关系，但它们在很大程度上忽视了不准确注意力分数带来的灾难性影响；此外，它们未能对关键面部组件给予充分关注，而这些组件的补全结果在很大程度上决定了一张人脸图像的真实感。为此，本文基于 U-Net 结构设计了一个用于人脸补全的综合框架。具体而言，我们提出一种双空间注意力模块，以在多尺度上高效学习面部纹理间的相关性；此外，我们向注意力模块提供预言监督信号，以确保所获得的注意力分数合理。进一步，我们将面部组件的位置作为先验知识，并对这些区域施加多判别器，从而显著提升面部组件的保真度。在包括 CelebA-HQ 和 Flickr-Faces-HQ 的两个高分辨率人脸数据集上的大量实验表明，所提方法大幅优于当前最先进的方法。
引用
@article{arxiv.2003.13903,
title = {Learning Oracle Attention for High-fidelity Face Completion},
author = {Tong Zhou and Changxing Ding and Shaowen Lin and Xinchao Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2003.13903},
year = {2020}
}
备注
Accepted to CVPR 2020