借助 2D 检测引导的查询锚框提升 3D 对象检测

多摄像头-based 的 3D 对象检测在过去几年中取得了显著进展。然而，我们注意到在某些情况下（例如远处区域），流行的 2D 对象检测器比最先进的 3D 检测器更可靠。为提高查询式 3D 对象检测器的性能，我们提出了一种称为 QAF2D 的新型查询生成方法，该方法从 2D 检测结果推断 3D 查询锚框。将图像中对象的 2D 边界框提升到一组 3D 锚框，通过将边界框内的每个抽样点关联深度、偏航角和尺寸候选值来实现。随后，通过将其在图像中的投影与对应的 2D 边界框进行比较来验证每个 3D 锚框的有效性，仅保留有效锚框并用于构建查询。还利用与每个查询关联的 2D 边界框的类别信息，以匹配预测框与 ground truth 用于 set-based loss。通过添加少量提示参数，将图像特征提取主干在 3D 检测器和 2D 检测器之间共享。我们将 QAF2D 集成到三种流行的查询式 3D 对象检测器中，并在 nuScenes 数据集上进行了全面评估。QAF2D 可为 nuScenes 验证子集带来的最大改进为 $2.3\%$ 的 NDS 和 $2.7\%$ 的 mAP。代码已公开于 https://github.com/nullmax-vision/QAF2D。