单目全身捕捉：在野外部署下重建人脸、身体与手部的姿态

我们提出了第一种从单目视角输入捕捉目标人物三维全身运动的方法。给定一张图像或单目视频，我们的方法通过三维可变形网格模型重建身体、面部和手指的运动。我们采用一种称为三维部件朝向场（POFs）的高效表示，在通用的二维图像空间中编码所有身体部件的三维朝向。POFs由一个全卷积网络（FCN）与关节置信度图一同预测。为训练我们的网络，我们采集了一个新的三维人体运动数据集，利用多视角系统捕捉40名受试者多样的全身运动。我们利用三维可变形人体模型，通过发掘模型中的姿态与形状先验，从CNN输出重建全身姿态。我们还提出了一种基于纹理的跟踪方法，以获得时间相干的运动捕捉输出。我们进行了详尽的定量评估，包括与现有身体专用及手部专用方法的对比，以及针对相机视角和人体姿态变化的性能分析。最后，我们在多种具有挑战性的野外视频上展示了全身运动捕捉的结果。我们的代码与新采集的人体运动数据集将公开共享。