基于对比学习重访雷达相机对齐：用于3D目标检测
计算机视觉与模式识别
2025-04-24 v1
摘要
最近，基于雷达和相机融合的3D目标检测算法表现卓越，为其在自动驾驶感知任务中的应用奠定了基础。现有方法关注处理雷达和相机之间领域差异导致的特征对齐问题，但现有方法要么忽略跨模态特征在对齐期间的相互作用，要么未能有效对齐不同模态在相同空间位置上的特征。为缓解上述问题，我们提出一种新的对齐模型，称为雷达相机对齐（RCAlign）。具体而言，我们基于对比学习设计了一个双路线对齐（DRA）模块，用于在雷达和相机之间进行特征对齐和融合。此外，考虑到雷达 BEV 特征的稀疏性，提出了雷达特征增强（RFE）模块，通过知识蒸馏损失提高雷达 BEV 特征的稠密化。实验表明，RCAlign 在雷达相机融合3D目标检测的公开 nuScenes 数据集上实现了最新水平。在最新方法（RCBEVDet）的基础上，RCAlign 在实时3D检测中实现了显著性能提升（4.3% NDS 和 8.4% mAP）。
引用
@article{arxiv.2504.16368,
title = {Revisiting Radar Camera Alignment by Contrastive Learning for 3D Object Detection},
author = {Linhua Kong and Dongxia Chang and Lian Liu and Zisen Kong and Pengyuan Li and Yao Zhao},
journal= {arXiv preprint arXiv:2504.16368},
year = {2025}
}