通过级联深度估计与校准迈向精确的基于相机的 3D 物体检测
计算机视觉与模式识别
2024-02-08 v1
摘要
近期的基于相机的 3D 物体检测受限于从图像到 3D 特征空间转换的精度，以及 3D 空间内物体定位的准确性。本文旨在解决基于相机的 3D 物体检测的一个根本问题：如何有效学习深度信息以实现准确的特征提升和物体定位。不同于以往直接使用监督估计模型预测深度分布的方法，我们提出了一种由两种深度感知学习范式组成的级联框架。首先，深度估计（DE）方案利用相对深度信息实现从 2D 到 3D 空间的有效特征提升。此外，深度校准（DC）方案引入深度重建，以进一步调整沿深度轴的 3D 物体定位扰动。在实践中，DE 通过同时使用绝对和相对深度优化损失来显式实现，以提升深度预测的精度；而 DC 的能力则通过训练阶段的深度去噪机制隐式嵌入到检测 Transformer 中。整个模型训练以端到端方式完成。我们提出了一个基线检测器，并在 NuScenes 基准测试中评估了我们方案的有效性，取得了 +2.2%/+2.7% 的 NDS/mAP 提升，并获得了 55.9%/45.7% NDS/mAP 的相当性能。此外，我们进行了大量实验，基于各种检测器展示了其通用性，带来了约 +2% 的 NDS 提升。
引用
@article{arxiv.2402.04883,
title = {Toward Accurate Camera-based 3D Object Detection via Cascade Depth Estimation and Calibration},
author = {Chaoqun Wang and Yiran Qin and Zijian Kang and Ningning Ma and Ruimao Zhang},
journal= {arXiv preprint arXiv:2402.04883},
year = {2024}
}
备注
Accepted to ICRA2024