OmniTrack++: 通过学习大视场轨迹反馈实现全景多目标跟踪
摘要
为解决全景畸变、大搜索空间和 360{\deg} 视场下身份歧义问题，OmniTrack++ 采用反馈驱动框架逐步利用轨迹线索来优化感知。DynamicSSM 模块首先稳定全景特征，隐式地缓解几何畸变。在归一化表示之上，FlexiTrack Instances 使用受轨迹信息驱动的反馈进行灵活定位和可靠的短期关联。为确保长期稳健性，ExpertTrack Memory 通过混合专家设计整合外观线索，实现对碎片化轨迹的恢复并减少身份漂移。最后，Tracklet Management 模块根据场景动态自适应地在端到端和基于跟踪检测模式之间切换，提供了平衡且可扩展的全景多目标跟踪解决方案。为支持严格评估，我们建立了 EmboTrack 基准数据集，这是一个包括由四足机器人捕获的 QuadTrack 和由两足轮足机器人收集的 BipTrack 的全景 MOT 综合数据集。这些数据集跨越宽角环境和多样化运动模式，为现实世界的全景感知提供了具有挑战性的测试平台。在 JRDB 和 EmboTrack 上的大量实验表明，OmniTrack++ 实现了最先进的性能，相较于原始 OmniTrack 在 JRDB 上实现 HOTA 提升 +3.94，在 QuadTrack 上实现 +15.03 的显著提升。这些结果凸显了轨迹信息反馈、自适应范式切换以及强大长期记忆在推动全景多目标跟踪方面的有效性。数据集和代码将在 https://github.com/xifen523/OmniTrack 上公开。
引用
@article{arxiv.2511.00510,
title = {OmniTrack++: Omnidirectional Multi-Object Tracking by Learning Large-FoV Trajectory Feedback},
author = {Kai Luo and Hao Shi and Kunyu Peng and Fei Teng and Sheng Wu and Kaiwei Wang and Kailun Yang},
journal= {arXiv preprint arXiv:2511.00510},
year = {2026}
}
备注
Extended version of CVPR 2025 paper arXiv:2503.04565. Datasets and code will be made publicly available at https://github.com/xifen523/OmniTrack