面向透视投影下的三维人脸重建：从单目图像估计六自由度人脸姿态
计算机视觉与模式识别
2023-07-05 v2
摘要
在三维人脸重建中，正交投影被广泛用来替代透视投影以简化拟合过程。当相机与人脸距离足够远时，该近似表现良好。然而，在一些人脸非常靠近相机或沿相机轴运动的场景中，由于透视投影下的畸变，现有方法面临重建不准确与时序拟合不稳定的问题。本文旨在解决透视投影下的单图像三维人脸重建问题。具体地，我们提出一个深度神经网络Perspective Network (PerspNet)，用于同时重建规范空间中的三维人脸形状并学习二维像素与三维点之间的对应关系，由此可估计六自由度（6DoF, 6 Degrees of Freedom）人脸姿态以表示透视投影。此外，我们贡献了一个大规模的ARKitFace数据集，以支持透视投影场景下三维人脸重建方案的训练与评估，该数据集包含902,724张具有真实三维人脸网格与标注的六自由度姿态参数的二维人脸图像。实验结果表明，我们的方法以显著优势优于当前最先进（SOTA）的方法。代码与数据见https://github.com/cbsropenproject/6dof_face。
引用
@article{arxiv.2205.04126,
title = {Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image},
author = {Yueying Kao and Bowen Pan and Miao Xu and Jiangjing Lyu and Xiangyu Zhu and Yuanzhang Chang and Xiaobo Li and Zhen Lei},
journal= {arXiv preprint arXiv:2205.04126},
year = {2023}
}
备注
Accepted by TIP