基于深度神经网络的端到端三维人脸重建
计算机视觉与模式识别
2017-04-18 v1
摘要
从单张二维人脸图像进行单目三维面部形状重建由于广泛应用而一直是活跃的研究领域。受深度神经网络(DNN)成功的启发，我们提出了一种基于 DNN 的从单张二维图像进行端到端三维人脸重建(UH-E2FAR)的方法。与近期以迭代方式利用 RGB 图像和初始三维面部形状渲染来重建和细化三维人脸的工作不同，我们的 DNN 模型是端到端的，因此可避免复杂的三维渲染过程。此外，我们在 DNN 架构中集成两个组件，即多任务损失函数和融合卷积神经网络(CNN)以改进面部表情重建。利用多任务损失函数，三维人脸重建被划分为中性三维面部形状重建和富有表情的三维面部形状重建。中性三维面部形状是类特定的，因此较高层特征有用。相比之下，富有表情的三维面部形状偏好较低或中间层特征。利用融合 CNN，来自不同中间层的特征被融合并转换用于预测三维富有表情面部形状。通过大量实验，我们证明了我们的端到端框架在提高三维人脸重建精度方面的优越性。
引用
@article{arxiv.1704.05020,
title = {End-to-end 3D face reconstruction with deep neural networks},
author = {Pengfei Dou and Shishir K. Shah and Ioannis A. Kakadiaris},
journal= {arXiv preprint arXiv:1704.05020},
year = {2017}
}
备注
Accepted to CVPR17