iTACO：基于随手拍摄的 RGBD 视频构建铰接物体的可交互数字孪生

铰接物体在日常生活中随处可见。此类物体的可交互数字孪生在具身 AI 和机器人领域有着广泛的应用。然而，当前将现实世界铰接物体数字化的方法需要精心采集的数据，这阻碍了实用、可扩展且可泛化的获取。我们专注于从手持相机随手拍摄的 RGBD 视频中分析铰接物体的运动和部件级分割。使用智能手机可以轻松大规模获取与铰接物体交互的随手拍摄视频。然而，由于物体和相机同时运动以及人与物体交互时产生的严重遮挡，这一场景极具挑战性。为了应对这些挑战，我们引入了 iTACO：一个由粗到细的框架，能够从动态 RGBD 视频中推断关节参数并分割物体的可移动部件。为了在这种新场景下评估我们的方法，我们构建了一个包含 11 个类别中 284 个物体的 784 个视频的数据集，其规模比现有工作大 20 倍。然后，我们将我们的方法与同样以视频作为输入的现有方法进行了比较。实验表明，无论是在合成的还是真实随手拍摄的 RGBD 视频上，iTACO 均优于现有的铰接物体数字孪生方法。