基于UKF的多摄像机标注下的3D地面真值重建

准确的3D地面真值估计对于自动导航、监视和机器人等应用至关重要。本文提出了一种新方法，利用无信任卡尔曼滤波器（UKF）融合来自多个已校准摄像机的2D边界框或姿态关键点地面真值标注，以获得准确的3D地面真值。通过利用人工标注的2D地面真值，我们的方法是一种多摄像机单目标跟踪算法，将2D图像坐标通过基于透视投影的2D到3D坐标转换和基于UKF的融合，转化为稳健的3D世界坐标。我们的算法处理多视图数据以估计物体位置和形状，同时有效处理遮挡等挑战。我们在CMC、Wildtrack和Panoptic数据集上进行评估，结果表明与现有3D地面真值相比，本方法在3D定位精度方面具有很高的准确性。与现有仅提供地面平面信息的做法不同，本方法还输出每个物体的完整3D形状。此外，该算法提供了一个在仅使用2D图像标注的情况下，适用于多摄像机系统的可扩展且全自动解决方案。