基于空间-时间融合的 3D 多目标跟踪 Polyhedral 框架——Fusion-Poly
计算机视觉与模式识别
2026-03-10 v1 机器人学
摘要
LiDAR 摄像机 3D 多目标跟踪 (MOT) 将丰富的视觉语义与准确的深度信息结合，以提高轨迹一致性和跟踪可靠性。然而在实际应用中，LiDAR 与摄像机的采样率不同。为维持时间对齐，现有数据管道通常会同步异构传感器流并在降低的共享频率上进行标注，这迫使大多数先前方法仅在同步时间戳通过投影或可学习的跨传感器关联进行空间融合，导致大量非同步观测未得到充分利用，尽管它们潜在可支持更频繁的关联和更稳健的短时间间隔内的轨迹估计。为解决此限制，我们提出 Fusion-Poly，一个用于 3D MOT 的空间-时间融合框架，集成了非同步的 LiDAR 与摄像机数据。Fusion-Poly 在同步时间戳与非同步时间戳分别与多模态观测和单模态观测关联，以实现运动与存在状态的高频更新。该框架包含三个关键组件：一个频率感知的级联匹配模块，适应同步和非同步帧的可用检测模态；一个频率感知的轨迹估计模块，通过高频运动预测、差分更新和置信度校准的生命周期管理来维持轨迹；以及一个完整状态观测对齐模块，通过优化图像-投影误差在同步时间戳提高跨模态一致性。在 nuScenes 测试集上，Fusion-Poly 实现了 76.5% 的 AMOTA，刷新了基于检测的 3D MOT 方法中的新纪录。大量消融实验进一步验证了每个组件的有效性。代码将公开发布。
引用
@article{arxiv.2603.08199,
title = {Fusion-Poly: A Polyhedral Framework Based on Spatial-Temporal Fusion for 3D Multi-Object Tracking},
author = {Xian Wu and Yitao Wu and Xiaoyu Li and Zijia Li and Lijun Zhao and Lining Sun},
journal= {arXiv preprint arXiv:2603.08199},
year = {2026}
}