Open3DTrack:面向开放词汇的3D多目标跟踪
计算机视觉与模式识别
2025-02-28 v2 机器人学
摘要
3D多目标跟踪通过实时监控和预测多个物体的运动,在自动驾驶中发挥着关键作用。传统的3D跟踪系统通常受限于预定义的物体类别,限制了它们在动态环境中对新颖、未见物体的适应性。为解决这一局限性,我们引入了开放词汇3D跟踪,将3D跟踪的范围扩展到预定义类别之外的物体。我们形式化了开放词汇3D跟踪的问题,并引入了旨在代表各种开放词汇场景的数据集划分。我们提出了一种新颖的方法,将开放词汇能力集成到3D跟踪框架中,从而能够泛化到未见过的物体类别。我们的方法通过策略性适应,有效缩小了跟踪已知物体和新颖物体之间的性能差距。实验结果证明了我们的方法在多样化户外驾驶场景中的鲁棒性和适应性。据我们所知,这项工作是首次解决开放词汇3D跟踪问题,为现实环境中的自主系统带来了重大进展。代码、训练好的模型和数据集划分均已公开。
引用
@article{arxiv.2410.01678,
title = {Open3DTrack: Towards Open-Vocabulary 3D Multi-Object Tracking},
author = {Ayesha Ishaq and Mohamed El Amine Boudjoghra and Jean Lahoud and Fahad Shahbaz Khan and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer},
journal= {arXiv preprint arXiv:2410.01678},
year = {2025}
}
备注
7 pages, 4 figures, 3 tables