迈向无标记抓取捕捉

人类擅长抓取物体并操控它们。捕捉人类抓取行为对于理解抓取行为并在虚拟现实(VR)中真实重建至关重要。然而,抓取捕捉——捕捉抓握物体的手的姿态,并相对于物体确定其朝向——由于人手的复杂性与多样性以及遮挡而十分困难。传统上用于缓解此困难的反射标记与磁追踪器会在图像中引入不良伪影,并可能干扰自然抓取行为。我们展示了一种从描绘抓取过程的视频中进行无标记抓取捕捉的初步算法。我们展示了如何将近期 2D 手部姿态估计的进展与成熟的优化技术结合使用。独特的是,我们的算法还能详细捕捉手与物体的接触并将其整合进抓取捕捉过程。这是一项进行中的工作,更多细节见 https://contactdb.cc.gatech.edu/grasp_capture.html。