面向真实场景的大姿态人脸正面化
计算机视觉与模式识别
2017-08-21 v3
摘要
尽管利用深度学习的面部识别近期取得进展，但在无约束环境中大姿态变化会导致准确率严重下降。学习姿态不变特征是其中一种解决方案，但需要昂贵标注的大规模数据和精心设计的特征学习算法。本工作中，我们专注于在真实场景中正面化各种头部姿态下的人脸，包括极端侧脸视图。我们提出一种新颖的以深度三维可变形模型（3DMM）为条件的面部正面化生成对抗网络（GAN），称为FF-GAN，以生成中性头部姿态人脸图像。我们的框架不同于传统GAN和基于3DMM的建模。将3DMM融入GAN结构为使用更少训练数据的快速收敛提供了形状和外观先验，同时也支持端到端训练。该3DMM条件GAN不仅采用判别器和生成器损失，还采用一种新的掩码对称损失以在遮挡下保持视觉质量，此外还有身份损失以恢复高频信息。在人脸识别、关键点定位和三维重建上的实验一致展示了我们的正面化方法在真实场景数据集上的优势。
引用
@article{arxiv.1704.06244,
title = {Towards Large-Pose Face Frontalization in the Wild},
author = {Xi Yin and Xiang Yu and Kihyuk Sohn and Xiaoming Liu and Manmohan Chandraker},
journal= {arXiv preprint arXiv:1704.06244},
year = {2017}
}
备注
To appear at ICCV2017. Details refer to http://cvlab.cse.msu.edu/project-face-frontalization.html