VirtualPainting：利用虚拟点和距离感知数据增强解决 3D 物体检测中的稀疏性问题
计算机视觉与模式识别
2023-12-27 v1
摘要
近年来，多模态方法显著增多，这些方法用相机导出的特征装饰原始 LiDAR 点云以提高物体检测性能。然而，我们发现这些方法仍然难以应对 LiDAR 点云数据固有的稀疏性，主要是因为对于稀疏分布的物体，被相机导出特征 enrich 的点较少。我们提出了一种创新方法，涉及利用相机图像生成虚拟 LiDAR 点，并使用基于图像的分割网络获得的语义标签增强这些虚拟点，以解决这一问题并促进稀疏分布物体（特别是那些被遮挡或遥远的物体）的检测。此外，我们集成了一种距离感知数据增强 (DADA) 技术，通过生成专门的训练样本来增强模型识别这些稀疏分布物体的能力。我们的方法提供了一种通用的解决方案，可以无缝集成到各种 3D 框架和 2D 语义分割方法中，从而显著提高整体检测精度。在 KITTI 和 nuScenes 数据集上的评估表明，3D 和鸟瞰图 (BEV) 检测基准均取得了实质性提升。
引用
@article{arxiv.2312.16141,
title = {VirtualPainting: Addressing Sparsity with Virtual Points and Distance-Aware Data Augmentation for 3D Object Detection},
author = {Sudip Dhakal and Dominic Carrillo and Deyuan Qu and Michael Nutt and Qing Yang and Song Fu},
journal= {arXiv preprint arXiv:2312.16141},
year = {2023}
}