基于单目视频的时间相干全三维网格人体姿态恢复

深度学习的进展近期使得从单张图像恢复人体姿态的全三维网格成为可能。然而，将该思想扩展至视频以恢复时间相干姿态仍待探索。这方面的主要挑战在于缺乏适当标注的视频数据来学习所需的深度模型。现有人体姿态数据集仅提供2D或3D骨架关节标注，且数据集录制于受限环境中。我们首先提出一种合成带有丰富3D标注的单目动作视频的技术，适用于学习全网格三维人体姿态恢复的计算模型。与现有方法仅将衣物“纹理映射”到3D人体姿态模型不同，我们的方法将基于物理的真实衣物形变与人体运动相结合。所生成视频涵盖大量人体动作、姿态和视觉外观，而标注记录了精确的人体姿态动力学与人体表面信息。我们的第二个主要贡献是一个端到端可训练的循环神经网络，用于从单目视频恢复全姿态网格。利用所提视频数据与基于LSTM的循环结构，我们的网络显式学习对视频中时间相干性建模，并对恢复网格施加几何一致性。我们使用所提及基准数据集通过定量与定性分析确立了该模型的有效性。