TransCAR：基于Transformer的相机与雷达融合用于3D目标检测
计算机视觉与模式识别
2023-05-02 v1
摘要
尽管雷达在汽车工业中广受欢迎，但在基于融合的3D目标检测中，大多数现有工作聚焦于LiDAR与相机融合。本文中，我们提出TransCAR，一种基于Transformer的相机与雷达（Camera-And-Radar）融合方案用于3D目标检测。我们的TransCAR由两个模块组成。第一模块从环视相机图像学习2D特征，随后使用稀疏的3D目标查询集索引至这些2D特征。视觉更新后的查询继而通过transformer自注意力层彼此交互。第二模块从多帧雷达扫描学习雷达特征，随后应用transformer解码器学习雷达特征与视觉更新查询间的交互。transformer解码器内的交叉注意力层可自适应地学习雷达特征与视觉更新查询间的软关联，而非仅基于传感器标定的硬关联。最终，我们的模型使用集到集匈牙利损失对每个查询估计一个边界框，使方法免于非极大值抑制。TransCAR利用雷达扫描在无时序信息下改进速度估计。我们的TransCAR在具挑战性的nuScenes数据集上的优越实验结果说明其优于最先进的相机-雷达融合3D目标检测方法。
引用
@article{arxiv.2305.00397,
title = {TransCAR: Transformer-based Camera-And-Radar Fusion for 3D Object Detection},
author = {Su Pang and Daniel Morris and Hayder Radha},
journal= {arXiv preprint arXiv:2305.00397},
year = {2023}
}