TAO：一个用于跟踪任意物体的大规模基准数据集

多年来，多目标跟踪基准一直聚焦于少数几个类别。这些数据集主要受监控和自动驾驶应用的驱动，提供人、车辆和动物的轨迹，而忽略了世界上绝大多数物体。相比之下，在相关的目标检测领域，大规模、多样化数据集（如 COCO）的引入促进了高度鲁棒解决方案的显著进展。为弥补这一差距，我们引入了一个类似的多样化数据集，用于跟踪任意物体（TAO）。它包含 2907 个高分辨率视频，拍摄于多样的环境中，平均时长约半分钟。重要的是，我们采用自底向上的方法发现了包含 833 个类别的大型词汇表，比先前的跟踪基准多出一个数量级。为此，我们要求标注员标记视频中任意时刻运动的物体，并在事后为其命名。我们的词汇表比现有跟踪数据集不仅规模显著更大，而且性质不同。为确保标注的可扩展性，我们采用一种联邦式方法，将人工精力集中在标注视频中相关物体（例如运动的物体）的轨迹上。我们对最先进的跟踪器进行了广泛评估，并就开放世界中的大词汇表跟踪得出了若干重要发现。特别地，我们表明现有的单目标和多目标跟踪器在应用于这一真实场景时表现不佳，而基于检测的多目标跟踪器实际上与用户初始化的跟踪器具有竞争力。我们希望我们的数据集和分析能推动跟踪领域的进一步进展。