面向单目RGB视频的无约束手-物联合重建

我们的工作旨在从单目视频中获取手和被操控物体的三维重建。重建手-物操控过程在机器人技术和从人类示范中学习方面具有巨大潜力。然而，该问题的监督学习方法需要三维监督，并且仍局限于有三维真实标注可用的受限实验室环境和模拟器。本文中，我们首先提出一种无学习的拟合方法用于手-物重建，该方法能够无缝处理双手与物体的交互。我们的方法依赖于通过物体检测、手部姿态估计和实例分割的常用方法获得的线索。我们对我们的方法进行了定量评估，并表明它可应用于具有不同难度级别且缺乏训练数据的数据集。