MonoSKD：基于 Spearman 相关系数的单目 3D 目标检测通用蒸馏框架
计算机视觉与模式识别
2023-10-18 v1 人工智能
摘要
单目 3D 目标检测本质上是一个病态问题，因为从单张图像预测准确的 3D 定位具有挑战性。现有的单目 3D 检测知识蒸馏方法通常将 LiDAR 投影到图像平面并相应地训练教师网络。将基于 LiDAR 的模型知识迁移到基于 RGB 的模型更为复杂，因此需要一种通用的蒸馏策略。为缓解跨模态问题，我们提出 MonoSKD，一种基于 Spearman 相关系数的单目 3D 检测知识蒸馏新框架，以学习跨模态特征间的相对相关性。考虑到这些特征间的巨大差距，严格的特征对齐可能误导训练，因此我们提出一种更宽松的 Spearman 损失。此外，通过选择合适的蒸馏位置并移除冗余模块，我们的方案比现有方法节省更多 GPU 资源且训练更快。我们进行了大量实验以在具挑战性的 KITTI 3D 目标检测基准上验证我们框架的有效性。我们的方法在提交前达到了 SOTA 性能，且无额外推理计算开销。我们的代码见 https://github.com/Senwang98/MonoSKD
引用
@article{arxiv.2310.11316,
title = {MonoSKD: General Distillation Framework for Monocular 3D Object Detection via Spearman Correlation Coefficient},
author = {Sen Wang and Jin Zheng},
journal= {arXiv preprint arXiv:2310.11316},
year = {2023}
}
备注
Accepted by ECAI 2023