SimPB++: 多摄像机同步检测2D和3D目标
计算机视觉与模式识别
2026-05-05 v1
摘要
多摄像机自主驾驶中的2D目标(透视视图)和3D目标(鸟瞰图BEV)的同步感知具有挑战性。现有的两阶段管道仅将2D结果作为一次性线索用于3D检测。我们提出了SimPB++，其同时从多个摄像机检测2D目标(透视视图)和3D目标(鸟瞰图)。它将两个任务统一为一个端到端模型，采用混合解码器架构，交互式地耦合多视角2D和3D解码器。两个新模块实现深度互动：动态查询分配自适应地将2D查询分配给3D候选目标，自适应查询聚合使用多视角2D特征来细化3D表示，形成循环的3D-2D-3D细化。对于多视角2D检测，我们使用查询组注意力进行组内通信。我们还设计了长程感知的裁剪-缩放策略和带有辅助RoI检测器的传播去噪策略。SimPB++支持2D-only和完全标注数据的混合监督，减少了对昂贵3D标签的依赖。实验表明，在nuScenes数据集上，SimPB++在两个任务上均实现了最先进的性能，在Argoverse2数据集上实现了强大的远距离检测能力(最高可达150米)。
引用
@article{arxiv.2605.01924,
title = {SimPB++: Simultaneously Detecting 2D and 3D Objects from Multiple Cameras},
author = {Yingqi Tang and Zhaotie Meng and Erkang Cheng and Haibin Ling},
journal= {arXiv preprint arXiv:2605.01924},
year = {2026}
}
备注
arXiv admin note: text overlap with arXiv:2403.10353