多摄像机 3D 检测与跟踪的模型优化
计算机视觉与模式识别
2026-02-04 v2
摘要
户外外置多摄像机感知在室内环境中日益重要，在此场景中，静态摄像机网络必须在遮挡和异构视角下支持多目标跟踪。我们评估了 Sparse4D，这是一种基于查询的时空 3D 检测和跟踪框架，通过共享世界坐标系融合多视角特征并通过实例记忆传递稀疏对象查询来实现。我们研究了降低输入帧率、后训练量化（INT8 和 FP8）、迁移至 WILDTRACK 基准，以及 Transformer Engine 混合精度微调。为更好地捕捉身份稳定性，我们报告了平均跟踪持续时间（AvgTrackDur），该度量以秒为单位衡量身份持久性。Sparse4D 在适中 FPS 降低下保持稳定，但低于 2 FPS 时，身份关联崩溃即使检测结果稳定。针对背部和颈部的选择性量化提供了最佳的速度-精度权衡，而注意力相关模块对低精度始终敏感。在 WILDTRACK 上，低 FPS 预训练在基本检查点之上获得了大量零样本收益，而小规模微调提供的额外收益有限。Transformer Engine 混合精度降低延迟并提升摄像机可扩展性，但可能 destabilize 身份传播，激发了稳定性感知验证的需求。
引用
@article{arxiv.2602.00450,
title = {Model Optimization for Multi-Camera 3D Detection and Tracking},
author = {Ethan Anderson and Justin Silva and Kyle Zheng and Sameer Pusegaonkar and Yizhou Wang and Zheng Tang and Sujit Biswas},
journal= {arXiv preprint arXiv:2602.00450},
year = {2026}
}