一种借助全景分割引导的基于LiDAR的3D目标检测通用多视图框架
计算机视觉与模式识别
2022-03-07 v1
摘要
使用LiDAR数据的3D目标检测是自动驾驶系统不可或缺的组成部分。然而，仅有少数基于LiDAR的3D目标检测方法利用分割信息来进一步引导检测过程。在本文中，我们提出了一种联合执行3D目标检测和全景分割的新型多任务框架。在我们的方法中，鸟瞰图(BEV)平面上的3D目标检测骨干网络通过注入来自3D全景分割骨干图的Range-View (RV)特征图得到增强。这使得检测骨干能够利用多视图信息来弥补各投影视图的不足。此外，前景语义信息被纳入以通过在特征图中突出每类物体的位置来简化检测任务。最后，基于实例级信息生成的新的中心密度热图通过提示物体可能的框中心位置进一步引导检测骨干。我们的方法适用于任何基于BEV的3D目标检测方法，并且如nuScenes数据集上的大量实验所示，它提供了显著的性能提升。值得注意的是，基于单阶段CenterPoint 3D目标检测网络的所提方法在nuScenes 3D检测基准上以67.3 NDS取得了最先进的性能。
引用
@article{arxiv.2203.02133,
title = {A Versatile Multi-View Framework for LiDAR-based 3D Object Detection with Guidance from Panoptic Segmentation},
author = {Hamidreza Fazlali and Yixuan Xu and Yuan Ren and Bingbing Liu},
journal= {arXiv preprint arXiv:2203.02133},
year = {2022}
}
备注
Accepted to CVPR 2022