基于RGB-D序列的遮挡物体背后感知三维多目标跟踪

由于视点变化、运动以及随时间产生的遮挡相结合，从RGB-D视频序列中进行多目标跟踪是一个具有挑战性的问题。我们观察到拥有物体的完整几何形状有助于其跟踪，因此提出对刚性运动物体随时间联合推断其完整几何形状并进行跟踪。我们的核心见解是，推断物体的完整几何形状显著有助于跟踪。通过幻觉化物体不可见区域，我们可以获得同一实例间的额外对应，从而即使在外观发生强烈变化下也能提供鲁棒的跟踪。从一系列RGB-D帧中，我们在每帧检测物体，并学习预测其完整物体几何形状以及到规范空间的稠密对应映射。这使我们能够推导每帧中物体的6DoF位姿，以及帧间对应，从而在RGB-D序列中提供鲁棒的物体跟踪。在合成和真实世界RGB-D数据上的实验表明，我们在动态物体跟踪上达到了最先进的性能。此外，我们展示了物体补全显著有助于跟踪，在平均MOTA上提供了$6.5\%$的提升。