用于单目三维目标检测的跨模态知识蒸馏网络
计算机视觉与模式识别
2022-11-15 v1
摘要
利用基于 LiDAR 的检测器或真实 LiDAR 点数据来引导单目三维检测已带来显著改进，例如 Pseudo-LiDAR 方法。然而，现有方法通常采用非端到端训练策略且对 LiDAR 信息的利用不充分，LiDAR 数据的丰富潜力未被很好挖掘。本文中，我们提出用于单目三维检测的跨模态知识蒸馏（CMKD）网络，以在特征和响应上高效且直接地将知识从 LiDAR 模态迁移到图像模态。此外，我们通过从大规模无标签数据中蒸馏知识，进一步将 CMKD 扩展为半监督训练框架，并显著提升性能。截至投稿时，CMKD 在 KITTI 集和 Waymo 集上均位居具有发表物的单目三维检测器之首，相较先前最先进方法取得显著性能增益。
引用
@article{arxiv.2211.07171,
title = {Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection},
author = {Yu Hong and Hang Dai and Yong Ding},
journal= {arXiv preprint arXiv:2211.07171},
year = {2022}
}
备注
Accepted by ECCV 2022 as Oral Presentation