面向实时外部多相机系统的统一 3D 物体感知框架
计算机视觉与模式识别
2026-01-19 v1
摘要
精确的 3D 物体感知和多目标多相机 (MTMC) 跟踪是工业基础设施数字化转型的基础。然而，由于异构的相机部署和严重的遮挡，将“由内向外”的自动驾驶模型转变为“由外向内”的静态相机网络带来了重大挑战。在本文中，我们提出了一个专门针对大规模基础设施环境优化的改进型 Sparse4D 框架。我们的系统利用绝对世界坐标几何先验，并引入了一个遮挡感知 ReID 嵌入模块，以在分布式传感器网络中保持身份稳定性。为了在无需人工标注的情况下弥合 Sim2Real 域差距，我们采用使用 NVIDIA COSMOS 框架的生成式数据增强策略，创造了多样化的环境风格，增强了模型的外观不变性。在 AI City Challenge 2025 基准上进行评估，我们仅依赖相机的框架实现了 的 SOTA HOTA。此外，我们通过为多尺度可变形聚合 (MSDA) 开发优化的 TensorRT 插件来解决实时部署约束。我们的硬件加速实现在现代 GPU 架构上实现了 的加速，使单个 Blackwell 级 GPU 能够支持超过 64 个并发相机流。
引用
@article{arxiv.2601.10819,
title = {A Unified 3D Object Perception Framework for Real-Time Outside-In Multi-Camera Systems},
author = {Yizhou Wang and Sameer Pusegaonkar and Yuxing Wang and Anqi Li and Vishal Kumar and Chetan Sethi and Ganapathy Aiyer and Yun He and Kartikay Thakkar and Swapnil Rathi and Bhushan Rupde and Zheng Tang and Sujit Biswas},
journal= {arXiv preprint arXiv:2601.10819},
year = {2026}
}