R4Det：4D 雷达-摄像头融合用于高性能 3D 对象检测
计算机视觉与模式识别
2026-05-12 v2
摘要
4D 雷达-摄像头感知配置在自动驾驶领域日益受到关注。然而，现有的融合 4D 雷达和摄像头数据的 3D 对象检测方法面临多个挑战。首先，其绝对深度估计模块鲁棒性和准确性不足，导致 3D 定位不准。其次，当 ego 车位姿缺失或不准时，其时序融合模块性能会显著下降甚至失效。再者，对于某些小目标，稀疏的雷达点云可能完全无法反射其表面，在这种情况下，检测必须完全依赖视觉单模态先验。为此，我们提出 R4Det，通过 Panoramic Depth Fusion 模块增强深度估计质量，实现绝对深度与相对深度之间的相互强化。对于时序融合，我们设计了一个不依赖 ego 车位姿的 Deformable Gated Temporal Fusion 模块。此外，我们构建了一个基于实例引导的动态细化模块，从 2D 实例引导中提取语义原型。实验表明，R4Det 在 TJ4DRadSet 和 VoD 数据集上实现了最先进的 3D 对象检测结果。该项目代码和模型将发布于 https://github.com/VDIGPKU/R4Det。
引用
@article{arxiv.2603.11566,
title = {R4Det: 4D Radar-Camera Fusion for High-Performance 3D Object Detection},
author = {Zhongyu Xia and Yousen Tang and Yongtao Wang and Zhifeng Wang and Weijun Qin},
journal= {arXiv preprint arXiv:2603.11566},
year = {2026}
}
备注
Accepted to CVPR 2026