学习用于高分辨率人脸正向化的高保真姿态不变模型
计算机视觉与模式识别
2018-10-09 v2
摘要
人脸正向化是指从给定侧面合成人脸正面视图的过程。由于在真实场景中存在自遮挡和外观畸变，在高分辨率下恢复保真结果并保留纹理细节极具挑战性。本文提出一种高保真姿态不变模型（HF-PIM）以生成照片级且保持身份的结果。HF-PIM 通过一种新颖的纹理扭曲流程将侧面正向化，并利用稠密对应场将 2D 与 3D 表面空间绑定。我们将扭曲的先决条件分解为稠密对应场估计与面部纹理图恢复，二者均由深度网络妥善解决。与那些依赖 3D 数据的重建方法不同，我们还提出对抗残差字典学习（ARDL）以仅用单目图像监督面部纹理图恢复。在受控与非受控环境下的详尽实验表明，所提方法不仅提升了姿态不变人脸识别的性能，还显著改善了高分辨率正向化外观。
引用
@article{arxiv.1806.08472,
title = {Learning a High Fidelity Pose Invariant Model for High-resolution Face Frontalization},
author = {Jie Cao and Yibo Hu and Hongwen Zhang and Ran He and Zhenan Sun},
journal= {arXiv preprint arXiv:1806.08472},
year = {2018}
}
备注
To appear in NIPS 2018