CRPlace：基于 BEV 表示的相机-雷达融合用于地点识别
机器人学
2024-03-25 v1
摘要
融合相机和雷达数据的互补特性已成为 3D 目标检测中的一种有效方法。然而，此类基于融合的方法在地点识别这一对自主系统同样重要的任务中尚未被探索。鉴于地点识别依赖于查询场景与对应候选场景之间的相似性，场景的静态背景预计在该任务中起着关键作用。因此，当前为 3D 目标检测精心设计的相机-雷达融合方法很难在地点识别中奏效，因为它们主要关注动态前景目标。本文提出了一种基于背景关注的相机-雷达融合方法，名为 CRPlace，旨在从多视图图像和雷达点云中生成关注背景的全局描述符，以实现准确的地点识别。为了有效提取静态背景特征，我们设计了一个自适应模块，该模块利用相机 BEV 特征和雷达动态点生成背景关注掩码。在背景掩码的引导下，我们设计了一种基于双向交叉注意力的空间融合策略，以促进相机 BEV 特征和雷达 BEV 特征的背景信息之间的全面空间交互。作为首个基于相机-雷达融合的地点识别网络，CRPlace 已在 nuScenes 数据集上进行了全面评估。结果表明，我们的算法在一系列综合指标上优于多种基线方法（recall@1 达到 91.2%）。
引用
@article{arxiv.2403.15183,
title = {CRPlace: Camera-Radar Fusion with BEV Representation for Place Recognition},
author = {Shaowei Fu and Yifan Duan and Yao Li and Chengzhen Meng and Yingjie Wang and Jianmin Ji and Yanyong Zhang},
journal= {arXiv preprint arXiv:2403.15183},
year = {2024}
}