V2X-R：用于三维目标检测的协同激光雷达-4D 雷达融合与去噪扩散
计算机视觉与模式识别
2025-08-26 v5
摘要
当前的车联网 (V2X) 系统利用激光雷达和相机数据显著提升了三维目标检测性能。然而，这些方法在恶劣天气条件下会出现性能下降。耐候性强的 4D 雷达提供多普勒和额外几何信息，为解决这一挑战提供了可能。为此，我们推出了 V2X-R，这是首个融合激光雷达、相机和 4D 雷达的模拟 V2X 数据集。V2X-R 包含 12,079 个场景，拥有 37,727 帧激光雷达和 4D 雷达点云、150,908 张图像以及 170,859 个标注的三维车辆边界框。随后，我们提出了一种用于三维目标检测的新颖协同激光雷达-4D 雷达融合流水线，并采用多种融合策略实现。为实现耐候检测，我们在融合流水线中额外提出了多模态去噪扩散 (MDD) 模块。MDD 利用耐候的 4D 雷达特征作为条件，引导扩散模型对含噪激光雷达特征进行去噪。实验表明，我们的激光雷达-4D 雷达融合流水线在 V2X-R 数据集上表现出优越性能。此外，我们的 MDD 模块在雾天/雪天条件下将基础融合模型的性能进一步提升了高达 5.73%/6.70%，且几乎不影响正常天气下的性能。数据集和代码将在以下地址公开：https://github.com/ylwhxht/V2X-R。
引用
@article{arxiv.2411.08402,
title = {V2X-R: Cooperative LiDAR-4D Radar Fusion with Denoising Diffusion for 3D Object Detection},
author = {Xun Huang and Jinlong Wang and Qiming Xia and Siheng Chen and Bisheng Yang and Xin Li and Cheng Wang and Chenglu Wen},
journal= {arXiv preprint arXiv:2411.08402},
year = {2025}
}
备注
Accepted by CVPR2025