SimPB：基于多相机的单模型 2D 与 3D 目标检测
计算机视觉与模式识别
2024-07-18 v2
摘要
自动驾驶领域引起了人们对从多相机中直接在鸟瞰图（BEV）中推断 3D 目标的方法的极大兴趣。一些尝试还探索了利用单图像的 2D 检测器来增强 3D 检测的性能。然而，这些方法依赖于具有独立检测器的两阶段过程，其中 2D 检测结果仅用于一次 token 选择或查询初始化。在本文中，我们提出了一种名为 SimPB 的单模型，它从多相机中同时检测透视视图中的 2D 目标和 BEV 空间中的 3D 目标。为此，我们引入了一个混合解码器，由几个多视图 2D 解码器层和几个 3D 解码器层组成，专门为其各自的检测任务而设计。提出了动态查询分配模块和自适应查询聚合模块，以循环 3D-2D-3D 的方式持续更新和细化 2D 和 3D 结果之间的交互。此外，利用查询组注意力来增强每个相机组内 2D 查询之间的交互。在实验中，我们在 nuScenes 数据集上评估了我们的方法，并在 2D 和 3D 检测任务中均展示了有希望的结果。我们的代码可在以下地址获取：https://github.com/nullmax-vision/SimPB。
引用
@article{arxiv.2403.10353,
title = {SimPB: A Single Model for 2D and 3D Object Detection from Multiple Cameras},
author = {Yingqi Tang and Zhaotie Meng and Guoliang Chen and Erkang Cheng},
journal= {arXiv preprint arXiv:2403.10353},
year = {2024}
}
备注
Accepted by ECCV 2024