OA-DET3D：将目标感知作为通用插件嵌入多相机 3D 目标检测
计算机视觉与模式识别
2025-09-03 v3
摘要
多相机 3D 目标检测的最新进展以鸟瞰图（BEV）表示或目标查询为特征。然而，从图像平面视图到 3D 空间的不适定变换不可避免地引起特征混杂与畸变，使目标模糊融入背景。为此，我们探索如何引入补充线索以在变换后的特征表示中区分目标。形式上，我们提出 OA-DET3D，一种通用插件模块，通过将目标感知引入多种现有 3D 目标检测流程来改进检测。具体而言，OA-DET3D 利用以目标为中心的深度信息和前景伪点提升目标表示。首先，我们使用来自每个 3D 边界框属性的目标级监督来引导网络学习深度分布。接着，我们使用 2D 目标检测器选取前景像素并将其投影至 3D 空间以进行伪体素特征编码。最后，目标感知深度特征与伪体素特征通过可变形注意力机制融入基线模型的 BEV 表示或查询特征。我们在 nuScenes 数据集和 Argoverse 2 数据集上进行了大量实验以验证 OA-DET3D 的优势。我们的方法在平均精度和综合检测分数上均相对于基于 BEV 的基线取得一致提升。
引用
@article{arxiv.2301.05711,
title = {OA-DET3D: Embedding Object Awareness as a General Plug-in for Multi-Camera 3D Object Detection},
author = {Xiaomeng Chu and Jiajun Deng and Jianmin Ji and Yu Zhang and Houqiang Li and Yanyong Zhang},
journal= {arXiv preprint arXiv:2301.05711},
year = {2025}
}
备注
Accepted by IJCV after more than two years of reviewing. Original title: OA-BEV: Bringing Object Awareness to Bird's-Eye-View Representation for Multi-Camera 3D Object Detection