基于 RGB 相机的 3D 目标跟踪模块化流水线

目标跟踪是计算机视觉的关键挑战，各种应用均需要不同的架构。大多数跟踪系统存在局限性，例如将所有运动约束在二维平面且通常仅跟踪单个目标。在本文中，我们提出了一种新的模块化流水线，用于计算多个目标的 3D 轨迹。该流水线可适配多种设置，其中多个时间同步且固定的相机记录运动物体，使用现成的网络摄像头。我们的流水线在 Table Setting 数据集上进行了测试，参与者在使用各种传感器记录的同时布置餐桌用具。我们需要跟踪这些被操作的物体，使用 6 台 RGB 网络摄像头。挑战包括：在 9,874,699 帧相机画面中检测小物体、确定相机姿态、区分邻近和重叠物体、处理临时遮挡，以及最终使用平均每个 3 分钟试验中约 11,124,56 个像素坐标的子集计算 3D 轨迹。我们实现了一个鲁棒的流水线，能够产生以协方差（x, y, z 位置）作为置信度度量的精确轨迹。该流水线动态处理出现和消失的目标实例化新的扩展卡尔曼滤波器。它可扩展至数百个餐桌布置试验，且需要极少的人工标注输入，即使每个试验的相机姿态未知。代码可在 https://github.com/LarsBredereke/object_tracking 获取。