LiRCDepth：基于知识蒸馏和不确定性引导的轻量级雷达-相机深度估计
计算机视觉与模式识别
2024-12-30 v2 图像与视频处理
摘要
最近，雷达-相机融合算法因雷达传感器提供的几何信息能够补充摄像机的局限性而受到广泛关注。然而，大多数现有的雷达-相机深度估计算法仅关注提高性能，往往忽视计算效率。为此，我们提出了 LiRCDepth，一个轻量级雷达-相机深度估计模型。我们引入知识蒸馈以增强训练过程，将来自复杂教师模型的关键信息传递给我们的轻量级学生模型。我们的三个关键领域均包含知识蒸馈：首先，通过像素级和两两蒸馈，传输低层和高层特征。此外，我们引入一种不确定性感知的跨深度蒸馏损失，以在解码过程中细化中间深度图。凭借我们提出的知识蒸馈方案，轻量级模型在 nuScenes 数据集上相较于无蒸馈训练的模型实现了 6.6% 的 MAE 提升。代码：https://github.com/harborsarah/LiRCDepth
引用
@article{arxiv.2412.16380,
title = {LiRCDepth: Lightweight Radar-Camera Depth Estimation via Knowledge Distillation and Uncertainty Guidance},
author = {Huawei Sun and Nastassia Vysotskaya and Tobias Sukianto and Hao Feng and Julius Ott and Xiangyuan Peng and Lorenzo Servadei and Robert Wille},
journal= {arXiv preprint arXiv:2412.16380},
year = {2024}
}
备注
Accepted by ICASSP 2025