通过模拟多帧点云提升单帧三维目标检测
计算机视觉与模式识别
2022-07-13 v2
摘要
为提升单帧三维目标检测的探测器，我们提出一种新方法，训练它去模拟一个在多帧点云上训练的探测器所具备的特征与响应。我们的方法仅在对单帧探测器进行训练时需要多帧点云，一旦训练完成，在推理时它仅需以单帧点云作为输入即可检测物体。我们设计了一种新颖的模拟多帧单阶段目标探测器（SMF-SSD）框架来实现该方法：多视角稠密物体融合，将真实物体稠密化以生成多帧点云；自注意力体素蒸馏，促进从多帧到单帧体素的一对多知识迁移；多尺度 BEV 特征蒸馏，在底层空间和高级语义 BEV 特征中迁移知识；以及自适应响应蒸馏，激活具有高置信度和精确定位的单帧响应。在 Waymo 测试集上的实验结果表明，我们的 SMF-SSD 在难度等级 1 和 2 的所有物体类别上，就 mAP 和 mAPH 而言，始终优于所有最先进的单帧三维目标探测器。
引用
@article{arxiv.2207.01030,
title = {Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame Point Clouds},
author = {Wu Zheng and Li Jiang and Fanbin Lu and Yangyang Ye and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2207.01030},
year = {2022}
}
备注
Accepted by ACM MM 2022