稀疏胜过密集：重新思考雷达-相机深度补全中的监督
计算机视觉与模式识别
2024-07-19 v3 人工智能
摘要
在深度补全领域，普遍认为稀疏监督不如密集监督，但背后的原因很少被讨论。为此，我们重新审视雷达-相机深度补全任务，并提出一种使用稀疏LiDAR监督的新方法，在准确性和速度上均优于先前的密集LiDAR监督方法。具体来说，当使用稀疏LiDAR监督训练时，深度补全模型通常输出包含显著条纹状伪影的深度图。我们发现这种现象是由稀疏LiDAR监督隐式学习到的位置分布模式引起的，本文称之为LiDAR分布泄漏（LDL）。基于此理解，我们提出了一种新颖的干扰-补偿雷达-相机深度补全框架来解决此问题。干扰部分旨在有意干扰从稀疏监督中学习LiDAR分布，而补偿部分旨在利用3D空间和2D语义信息来补偿先前干扰造成的信息损失。大量实验结果表明，通过减少LDL的影响，我们的稀疏监督框架在平均绝对误差（MAE）上比最先进的密集监督方法提高了11.6%，在每秒帧数（FPS）上加速了1.6倍。代码可在https://github.com/megvii-research/Sparse-Beats-Dense获取。
引用
@article{arxiv.2312.00844,
title = {Sparse Beats Dense: Rethinking Supervision in Radar-Camera Depth Completion},
author = {Huadong Li and Minhao Jing and Jiajun Liang and Haoqiang Fan and Renhe Ji},
journal= {arXiv preprint arXiv:2312.00844},
year = {2024}
}
备注
Accepted to ECCV 2024