PAI3D：用于三维目标检测的绘制自适应实例先验
计算机视觉与模式识别
2022-11-16 v1
摘要
三维目标检测是自动驾驶中的关键任务。近来，结合 LiDAR 与相机互补优势的多模态融合三维目标检测方法相比单模态方法展现出巨大的性能提升。然而，迄今为止尚无方法尝试利用实例级上下文图像语义来引导三维目标检测。本文提出一种简单有效的用于三维目标检测的绘制自适应实例先验（PAI3D），以灵活地将实例级图像语义与点云特征融合。PAI3D 是一个多模态序列实例级融合框架。它首先从图像中提取实例级语义信息，所提取的信息包括物体类别标签、点到物体的归属关系及物体位置，随后用于增强后续三维检测网络中的每个 LiDAR 点，以引导并提升检测性能。PAI3D 在 nuScenes 数据集上以较大优势超越当前最优方法，在测试集上 mAP 达到 71.4，NDS 达到 74.2。我们的综合实验表明，实例级图像语义对性能提升贡献最大，且 PAI3D 可与任意高质量实例分割模型及任何现代点云三维编码器良好协作，使其成为部署于自动驾驶车辆的强有力候选方案。
引用
@article{arxiv.2211.08055,
title = {PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection},
author = {Hao Liu and Zhuoran Xu and Dan Wang and Baofeng Zhang and Guan Wang and Bo Dong and Xin Wen and Xinyu Xu},
journal= {arXiv preprint arXiv:2211.08055},
year = {2022}
}