基于光场图像的无模型三维人脸重建
计算机视觉与模式识别
2018-07-06 v4
摘要
从单张 RGB 图像重建三维人脸几何形状近来引发了广泛的研究兴趣。然而，这仍是一个病态问题，且大多数方法依赖先验模型，从而削弱了恢复出的三维人脸的精度。本文中，我们利用光场相机获得的极平面图像（EPI），学习 CNN 模型，从相应的水平和垂直 EPI 中恢复水平和垂直的三维人脸曲线。我们的三维人脸重建网络（FaceLFnet）采用密集连接结构，从低分辨率 EPI 中学习精确的三维人脸曲线。为从头训练所提出的 FaceLFnet，我们从三维人脸扫描合成照片级真实的光场图像。这种逐曲线三维人脸估计方法使网络仅从 80 个身份的 14K 张图像中学习，而这些图像仍包含超过 1100 万条 EPI/曲线。估计出的人脸曲线被合并为单个点云，对其拟合曲面以得到最终的三维人脸。我们的方法无模型，仅需少量训练样本即可学习 FaceLFnet，并能在不同姿态、表情和光照条件下从单张光场图像高精度重建三维人脸。在 BU-3DFE 和 BU-4DFE 数据集上的对比表明，与近期最先进水平相比，我们的方法将重建误差降低了 20% 以上。
引用
@article{arxiv.1711.05953,
title = {3D Face Reconstruction from Light Field Images: A Model-free Approach},
author = {Mingtao Feng and Syed Zulqarnain Gilani and Yaonan Wang and Ajmal Mian},
journal= {arXiv preprint arXiv:1711.05953},
year = {2018}
}