MANUS：使用铰接式3D高斯的无标记抓取捕捉

理解我们如何用手抓取物体在机器人和混合现实等领域具有重要应用。然而，这个具有挑战性的问题需要对手和物体之间的接触进行精确建模。为了捕捉抓取，现有方法使用骨架、网格或参数化模型，这些方法不能准确表示手的形状，导致接触不准确。我们提出了MANUS，一种使用铰接式3D高斯进行无标记手-物抓取捕捉的方法。我们构建了一种新颖的铰接式3D高斯表示，扩展了3D Gaussian splatting以高保真度表示铰接式手。由于我们的表示使用高斯基元，它使我们能够高效且准确地估计手和物体之间的接触。为了获得最准确的结果，我们的方法需要当前数据集无法提供的数十个相机视角。因此，我们构建了MANUS-Grasps，这是一个新数据集，包含跨越30多个场景、3个受试者的从50多个相机视角观察到的手-物抓取，总计超过700万帧。除了广泛的定性结果外，我们还展示了我们的方法在使用从物体到手的颜料转移的定量接触评估方法上优于其他方法。