立足过去与未来之间：用于多相机 3D 多目标跟踪的时空建模
计算机视觉与模式识别
2023-04-04 v2 人工智能
机器学习
机器人学
摘要
本工作提出一个端到端的多相机 3D 多目标跟踪（MOT）框架。它强调时空连续性，并对被跟踪对象整合过去与未来的推理。因此，我们将其命名为“用于跟踪的过去与未来推理”（PF-Track）。具体而言，我们的方法适配“通过注意力跟踪”框架，并用对象查询随时间一致地表示被跟踪实例。为显式利用历史线索，我们的“过去推理”模块通过学习交叉注意力于前一帧及其他对象的查询，来精炼轨迹并增强对象特征。“未来推理”模块消化历史信息并预测鲁棒的未来轨迹。在长时遮挡情况下，我们的方法通过整合运动预测来维持对象位置并实现重关联。在 nuScenes 数据集上，与先前方法相比，我们的方法大幅提升了 AMOTA，并将 ID 切换显著减少了 90%，即降低了一个数量级。代码与模型已发布于 https://github.com/TRI-ML/PF-Track。
引用
@article{arxiv.2302.03802,
title = {Standing Between Past and Future: Spatio-Temporal Modeling for Multi-Camera 3D Multi-Object Tracking},
author = {Ziqi Pang and Jie Li and Pavel Tokmakov and Dian Chen and Sergey Zagoruyko and Yu-Xiong Wang},
journal= {arXiv preprint arXiv:2302.03802},
year = {2023}
}
备注
CVPR 2023 Camera Ready, 15 pages, 8 figures