GBOT：基于图的 3D 目标跟踪用于增强现实装配指导

装配部件的指导是一个增强现实的热门领域。增强现实装配指导需要实时获取目标对象的 6 维姿态。尤其是在时间紧迫的医疗或工业场景中，对单个部件的连续且无标记的跟踪对于在目标对象部件上方或相邻位置叠加/可视化指令至关重要。就此而言，用户手部或其他物体的遮挡以及不同装配状态的复杂性会使鲁棒且实时的无标记多目标跟踪变得困难。为此，我们提出了基于图的对象跟踪（GBOT），一种新颖的单视角 RGB-D 跟踪方法。通过 6D 姿态估计初始化，实时无标记的多目标跟踪通过更新图中的装配姿态来实现。通过我们新颖的多状态装配图，实现了各种装配状态下的跟踪。我们利用单个装配部件的相对姿态来更新多状态装配图。将图中的单个对象相互链接，能够在装配过程中实现更稳健的对象跟踪。为评估，我们引入了一个基于公开可 3D 打印装配资产的合成数据集，作为未来工作的基准。定量实验在合成数据上以及进一步的定性研究在真实测试数据上显示，GBOT 能够超越现有工作，实现以情境感知为导向的增强现实装配指导。数据集和代码将公开提供。