UV-GAN：用于姿态不变人脸识别的对抗式面部 UV 图补全
计算机视觉与模式识别
2017-12-14 v1
摘要
近来提出的鲁棒三维人脸对齐方法建立了三维人脸模型与二维人脸图像之间的稠密或稀疏对应。这些方法的使用为人脸纹理分析带来了新的挑战与机遇。特别地，通过使用拟合模型对图像采样，可创建面部 UV 图。遗憾的是，由于自遮挡，此类 UV 图总是不完整的。本文中，我们提出一种训练深度卷积神经网络（DCNN）的框架，以补全从真实场景图像中提取的面部 UV 图。为此，我们首先通过将三维可变形模型（3DMM）拟合到多种多视角图像与视频数据集，并利用一个包含超过 3000 个身份的新三维数据集，收集完整的 UV 图。其次，我们设计了一种精心设计的架构，结合局部与全局对抗式 DCNN 来学习保持身份的面部 UV 补全模型。我们证明，通过将补全的 UV 贴附到拟合网格并生成任意姿态的实例，可增加训练深度人脸识别/验证模型的姿态变化，并在测试时最小化姿态差异，从而带来更优性能。在受控与真实场景 UV 数据集上的实验证明了我们对抗式 UV 补全模型的有效性。仅通过在训练时结合姿态增强与在测试时降低姿态差异，我们在 CFP 正脸-侧脸协议下取得了最先进的验证准确率 。我们将发布首个真实场景 UV 数据集（我们称之为 WildUV），其包含来自 1892 个身份的完整面部 UV 图以供研究使用。
引用
@article{arxiv.1712.04695,
title = {UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition},
author = {Jiankang Deng and Shiyang Cheng and Niannan Xue and Yuxiang Zhou and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:1712.04695},
year = {2017}
}