全景多目标跟踪
计算机视觉与模式识别
2025-03-25 v2 机器人学
图像与视频处理
摘要
全景图像具有360度视野，提供捕捉周围物体空间和时间关系的全面信息，能够支持多目标跟踪（MOT）。然而，大多数MOT算法针对视野有限的针孔图像设计，难以在全景设置下发挥效果。此外，全景图像中的失真（如分辨率损失、几何变形和不均匀光照）阻碍了现有MOT方法的直接适应，导致显著性能下降。为此，本文提出OmniTrack框架，集成Tracklet Management以引入时序线索、FlexiTrack Instances进行目标定位和关联、CircularStatE模块缓解图像和几何变形。该集成实现了全景视野场景下的跟踪，即使在快速传感器运动下也能工作。为缓解缺乏全景MOT数据集的问题，本文引入QuadTrack数据集——一个由四足机器人收集的综合性全景数据集，包含多样化挑战，如全景视野、剧烈运动和复杂环境。在公开的JRDB数据集和新引入的QuadTrack基准上进行大量实验，证明了所提出框架的领先性能。OmniTrack在JRDB上获得26.92%的HOTA分数，提升了3.43%；在QuadTrack上达到23.45%，超出基线6.81%。该建立的数据集和源代码已公开于https://github.com/xifen523/OmniTrack。
引用
@article{arxiv.2503.04565,
title = {Omnidirectional Multi-Object Tracking},
author = {Kai Luo and Hao Shi and Sheng Wu and Fei Teng and Mengfei Duan and Chang Huang and Yuhang Wang and Kaiwei Wang and Kailun Yang},
journal= {arXiv preprint arXiv:2503.04565},
year = {2025}
}
备注
Accepted to CVPR 2025. The established dataset and source code are available at https://github.com/xifen523/OmniTrack