利用部件间关联的单目实时全身捕捉

我们提出首个实时全身捕捉方法，可从单张彩色图像同时估计身体与手部的形体和运动以及动态 3D 人脸模型。我们的方法采用一种新的神经网络架构，以高计算效率利用身体与手部之间的关联。与先前工作不同，我们的方法在多个分别关注手、身体或人脸的数据集上联合训练，而不需要所有部件同时被标注的数据，后者难以以足够多样性创建。这种多数据集训练的可能性带来了优越的泛化能力。相较于早期的单目全身方法，我们的方法通过估计统计人脸模型的形状、表情、反照率和光照参数，捕捉更具表现力的 3D 人脸几何与颜色。我们的方法在公开基准上取得了有竞争力的精度，同时显著更快并提供更完整的人脸重建。