基于颜色嵌入三维重建的精确单目目标检测用于自动驾驶
计算机视觉与模式识别
2021-03-31 v4
摘要
本文提出一种自动驾驶领域的单目 3D 目标检测框架。不同于以往从 2D 图像提取 RGB 特征的基于图像的方法，我们的方法在重建的 3D 空间中解决该问题，以显式利用 3D 上下文。为此，我们首先利用一个独立模块将输入数据从 2D 图像平面转换到 3D 点云空间以获得更好的输入表示，然后使用 PointNet 骨干网络执行 3D 检测，获取物体的 3D 位置、尺寸与朝向。为增强点云的判别能力，我们提出一个多模态特征融合模块，将互补的 RGB 线索嵌入到生成的点云表示中。我们认为，从生成的 3D 场景空间（即 X,Y,Z 空间）推断 3D 边界框比从图像平面（即 R,G,B 图像平面）更有效。在具有挑战性的 KITTI 数据集上的评估表明，我们的方法大幅提升了最先进单目方法的性能。
引用
@article{arxiv.1903.11444,
title = {Accurate Monocular Object Detection via Color-Embedded 3D Reconstruction for Autonomous Driving},
author = {Xinzhu Ma and Zhihui Wang and Haojie Li and Pengbo Zhang and Xin Fan and Wanli Ouyang},
journal= {arXiv preprint arXiv:1903.11444},
year = {2021}
}
备注
To appear in ICCV'19