基于神经渲染的静态视频自监督三维人体姿态估计

从二维图像推断三维人体姿态是计算机视觉领域中一个具有挑战性且长期存在的问题，其在动作捕捉、虚拟现实、监控以及体育与医学中的步态分析等方面有着诸多应用。我们展示了一种从包含单人与静态背景的二维视频中估计三维姿态的方法的初步结果，该方法无需任何人工关键点标注。我们通过构建一个简单而有效的自监督任务来实现这一点：我们的模型需要根据来自另一时间点的帧以及变换后人体形状模板的渲染图像，重建视频中的随机一帧。对优化至关重要的是，我们基于光线投射的渲染流程是完全可微分的，从而能够仅基于重建任务进行端到端训练。