通过在激光雷达点云上模拟多模态提升三维目标检测
计算机视觉与模式识别
2022-07-01 v1
摘要
本文提出了一种新方法，通过教导单模态（LiDAR）三维目标检测器模拟遵循多模态（LiDAR-图像）检测器的特征和响应来提升其性能。该方法仅在训练单模态检测器时需要LiDAR-图像数据，一旦训练良好，推理时仅需LiDAR数据。我们设计了一个新颖的框架来实现该方法：响应蒸馏以聚焦于关键响应样本并避免背景样本；稀疏体素蒸馏以从估计的关键体素中学习体素语义与关系；细粒度体素到点蒸馏以更好地关注小物体和远处物体的特征；以及实例蒸馏以进一步增强深层特征一致性。在nuScenes数据集上的实验结果表明，我们的方法优于所有SOTA的仅LiDAR三维检测器，甚至在关键NDS指标上超越了基线LiDAR-图像检测器，填补了单模态与多模态检测器之间72%的mAP差距。
引用
@article{arxiv.2206.14971,
title = {Boosting 3D Object Detection by Simulating Multimodality on Point Clouds},
author = {Wu Zheng and Mingxuan Hong and Li Jiang and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2206.14971},
year = {2022}
}
备注
Published in CVPR 2022 as Oral