SCKD：面向4D雷达目标检测的半监督跨模态知识蒸馏
计算机视觉与模式识别
2024-12-20 v1 人工智能
图像与视频处理
摘要
3D目标检测是自动驾驶的基本感知任务之一。使用4D毫米波雷达完成该任务非常有吸引力，因为该传感器能够获取类似于激光雷达的3D点云，同时在恶劣天气下保持稳健的测量。然而，由于雷达点云的高稀疏性和噪声，现有方法的性能仍远低于预期。本文提出一种新颖的半监督跨模态知识蒸馏（SCKD）方法，用于基于4D雷达的3D目标检测。它通过半监督蒸馏从激光雷达-雷达融合的教师网络中学习特征。我们首先在教师网络中提出一个自适应融合模块以提升其性能。然后，设计了两个特征蒸馏模块以促进跨模态知识迁移。最后，提出半监督输出蒸馏以增加蒸馏框架的有效性和灵活性。在相同网络结构下，通过SCKD训练的仅雷达学生网络在VoD数据集上比基线提升了10.38%的mAP，并超越了现有最先进方法。在ZJUODset上的实验也表明，当额外未标记数据可用时，在中等难度级别上比基线提升了5.12%的mAP。代码可在https://github.com/Ruoyu-Xu/SCKD获取。
引用
@article{arxiv.2412.14571,
title = {SCKD: Semi-Supervised Cross-Modality Knowledge Distillation for 4D Radar Object Detection},
author = {Ruoyu Xu and Zhiyu Xiang and Chenwei Zhang and Hanzhi Zhong and Xijun Zhao and Ruina Dang and Peng Xu and Tianyu Pu and Eryun Liu},
journal= {arXiv preprint arXiv:2412.14571},
year = {2024}
}
备注
Accepted by AAAI 2025