基于RGB-D相机的实时同步三维头部建模与面部运动捕捉
计算机视觉与模式识别
2020-04-23 v1 图像与视频处理
摘要
我们提出一种使用消费级RGB-D相机实时构建动画三维头部模型的方法。我们提出的方法是首个同时提供全面面部运动跟踪和用户头部详细三维模型的方法。任何人的头部都可以即时重建并捕捉其面部运动，无需任何训练或预扫描。用户在第一帧中以中性表情面向相机，但此后可自由移动、说话并随意改变面部表情。面部运动使用blendshape动画模型捕捉，而几何细节使用映射到模板网格上的偏差图像捕捉。我们贡献了一种高效算法，用于实时动态地增长和细化变形的三维头部模型。我们在具有各种头部姿态和面部表情的广泛对象上展示了鲁棒且高保真的同步面部运动捕捉和三维头部建模结果。
引用
@article{arxiv.2004.10557,
title = {Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with an RGB-D camera},
author = {Diego Thomas},
journal= {arXiv preprint arXiv:2004.10557},
year = {2020}
}