基于自监督学习的视频中一致三维手部重建

我们提出了一种从单目视频重建准确且一致的三维手部的方法。我们观察到检测到的二维手部关键点和图像纹理提供了关于三维手部几何与纹理的重要线索，这可以降低甚至消除对三维手部标注的需求。因此我们提出 ${\rm {S}^{2}HAND}$，一种自监督三维手部重建模型，它可以通过易于获取的二维检测关键点的监督，从单个 RGB 输入联合估计姿态、形状、纹理和相机视角。我们利用无标签视频数据中含有的连续手部运动信息，提出 ${\rm {S}^{2}HAND(V)}$，其使用一组权重共享的 ${\rm {S}^{2}HAND}$ 来处理每一帧，并利用额外的运动、纹理和形状一致性约束来促进更准确的手部姿态以及更一致的形状和纹理。在基准数据集上的实验表明，我们的自监督方法在以单帧为输入的设定下取得了与近期全监督方法相当的手部重建性能，并且在使用视频训练数据时显著提高了重建精度与一致性。