RaCFormer: 基于查询的雷达-相机融合实现高质量3D目标检测
计算机视觉与模式识别
2025-03-25 v2
摘要
我们提出雷达-相机融合变换器(RaCFormer)，通过以下洞察提升3D目标检测的精度。室外3D场景感知中的雷达-相机融合受到图像到BEV变换的限制——如果像素深度估计不准确，BEV特征的简单组合实际上整合了未对齐的视觉内容。为避免此问题，我们提出一个基于查询的框架，能够从鸟瞰图(BEV)和原始图像视图中自适应采样与实例相关的特征。此外，我们通过两个关键设计增强系统性能：优化查询初始化和增强BEV的表示能力。对于前者，我们引入极坐标下的自适应圆形分布来细化对象查询的初始化，允许基于距离调整查询密度。对于后者，我们首先引入雷达引导的深度头来细化从图像视图到BEV的变换。随后，我们专注于利用雷达的多普勒效应，并引入一个隐式动态捕捉器来捕获BEV中的时间元素。在nuScenes和View-of-Delft(VoD)数据集上的大量实验验证了我们设计的优点。值得注意的是，我们的方法在nuScenes上取得了64.9% mAP和70.2% NDS的优异结果。RaCFormer还在VoD数据集上获得了最先进的性能。代码可在https://github.com/cxmomo/RaCFormer获取。
引用
@article{arxiv.2412.12725,
title = {RaCFormer: Towards High-Quality 3D Object Detection via Query-based Radar-Camera Fusion},
author = {Xiaomeng Chu and Jiajun Deng and Guoliang You and Yifan Duan and Houqiang Li and Yanyong Zhang},
journal= {arXiv preprint arXiv:2412.12725},
year = {2025}
}
备注
Accepted to CVPR 2025