以物体为查询：将任意2D物体检测器提升为3D检测
计算机视觉与模式识别
2023-11-07 v3
摘要
基于多视角图像的3D物体检测在过去几年备受关注。现有方法主要从多视角图像建立3D表示并采用稠密检测头进行物体检测，或在3D空间中分布物体查询以定位物体。本文设计多视角2D物体引导的3D物体检测器（MV2D），可将任意2D物体检测器提升为多视角3D物体检测。由于2D检测能提供物体存在的宝贵先验，MV2D利用2D检测器生成依赖于丰富图像语义的物体查询。这些动态生成的查询帮助MV2D召回视野中的物体，并展现出强大的3D物体定位能力。针对生成的查询，我们设计稀疏交叉注意力模块使其聚焦于特定物体的特征，从而抑制噪声干扰。在nuScenes数据集上的评估结果证明，动态物体查询与稀疏特征聚合能提升3D检测能力。MV2D也在现有方法中表现出SOTA性能。我们希望MV2D可作为未来研究的新基线。代码见\url{https://github.com/tusen-ai/MV2D}。
引用
@article{arxiv.2301.02364,
title = {Object as Query: Lifting any 2D Object Detector to 3D Detection},
author = {Zitian Wang and Zehao Huang and Jiahui Fu and Naiyan Wang and Si Liu},
journal= {arXiv preprint arXiv:2301.02364},
year = {2023}
}
备注
Accepted by ICCV 2023