基于 CNN 的利用逆渲染照片级真实人脸图像实时稠密人脸重建
计算机视觉与模式识别
2018-05-16 v3
摘要
借助卷积神经网络（CNN）的强大能力，基于 CNN 的人脸重建近期在从 2D 人脸图像重建精细人脸形状方面展现出有前景的性能。基于 CNN 的方法的成功依赖于大量标注数据。现有最优方法使用粗糙的可变形人脸模型合成此类数据，然而其难以生成具有细节的照片级真实人脸图像（带皱纹）。本文提出一种新颖的人脸数据生成方法。具体而言，我们基于逆渲染渲染大量具有不同属性的照片级真实人脸图像。此外，我们通过将不同尺度的细节从一张图像转移到另一张图像，构建了一个精细细节人脸图像数据集。我们还通过模拟真实视频数据的分布，构造了大量视频型相邻帧对。利用这些精心构建的数据集，我们提出了一种由三个卷积网络组成的由粗到细的学习框架。这些网络经过训练，用于从单目视频以及单张图像进行实时的精细 3D 人脸重建。大量实验结果表明，与现有最优方法相比，我们的框架能产生高质量重建，且计算时间大幅减少。此外，由于数据的多样性，我们的方法对姿态、表情和光照具有鲁棒性。
引用
@article{arxiv.1708.00980,
title = {CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images},
author = {Yudong Guo and Juyong Zhang and Jianfei Cai and Boyi Jiang and Jianmin Zheng},
journal= {arXiv preprint arXiv:1708.00980},
year = {2018}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018