多模态虚拟点三维检测
计算机视觉与模式识别
2021-11-15 v1 机器学习
机器人学
摘要
基于激光雷达的传感驱动着当前的自动驾驶汽车。尽管进展迅速，当前的激光雷达传感器在分辨率和成本上仍落后传统彩色相机二十年。对于自动驾驶而言，这意味着靠近传感器的较大物体易于看见，但远处或小物体仅包含一两个测量点。这是一个问题，尤其当这些物体实为驾驶危险时。另一方面，这些相同物体板载 RGB 传感器中清晰可见。在本工作中，我们提出一种将 RGB 传感器无缝融合进基于激光雷达的三维识别的方法。我们的方法利用一组二维检测结果生成密集的三维虚拟点以增补原本稀疏的三维点云。这些虚拟点可与常规激光雷达测量一起自然集成进任何标准基于激光雷达的三维检测器。所得多模态检测器简单而有效。在大规模 nuScenes 数据集上的实验结果表明，我们的框架将强劲的 CenterPoint 基线显著提升了 6.6 mAP，并优于竞争的融合方法。代码与更多可视化见 https://tianweiy.github.io/mvp/
引用
@article{arxiv.2111.06881,
title = {Multimodal Virtual Point 3D Detection},
author = {Tianwei Yin and Xingyi Zhou and Philipp Krähenbühl},
journal= {arXiv preprint arXiv:2111.06881},
year = {2021}
}
备注
NeurIPS 2021, code available at https://tianweiy.github.io/mvp/