CRKD：基于跨模态知识蒸馏的增强型相机-雷达目标检测

在自动驾驶的3D目标检测领域，激光雷达-相机（LiDAR-Camera, LC）融合是性能最佳的传感器配置。尽管如此，激光雷达成本相对较高，阻碍了该技术在消费级汽车上的应用。作为替代，相机和雷达目前已普遍部署在路上的车辆中，但相机-雷达（Camera-Radar, CR）融合的性能落后于LC融合。在本工作中，我们提出相机-雷达知识蒸馏（Camera-Radar Knowledge Distillation, CRKD），通过一种新颖的跨模态KD框架来弥合LC与CR检测器之间的性能差距。我们使用鸟瞰图（Bird's-Eye-View, BEV）表示作为共享特征空间，以实现有效的知识蒸馏。为适应独特的跨模态KD路径，我们提出了四种蒸馏损失，以帮助学生模型从教师模型中学习关键特征。我们在nuScenes数据集上进行了广泛评估，以证明所提出的CRKD框架的有效性。CRKD的项目主页为 https://song-jingyu.github.io/CRKD。