面向鲁棒三维目标检测的可靠性驱动 LiDAR-相机融合
计算机视觉与模式识别
2025-02-05 v1 机器学习
摘要
精确且鲁棒的三维目标检测对于自动驾驶至关重要，其中融合来自 LiDAR 和相机等传感器的数据可提高检测精度。然而，传感器故障（如损坏或断开连接）会降低性能，而现有的融合模型在一种模态失效时往往难以保持可靠性。为了解决这个问题，我们提出了 ReliFusion，一个在鸟瞰图（BEV）空间中运行的新型 LiDAR-相机融合框架。ReliFusion 集成了三个关键组件：时空特征聚合（STFA）模块，该模块捕获跨帧的依赖关系以稳定随时间变化的预测；可靠性模块，该模块分配置信度分数以量化每种模态在挑战性条件下的可信赖性；以及置信度加权互交叉注意力（CW-MCA）模块，该模块基于这些置信度分数动态平衡来自 LiDAR 和相机模态的信息。在 nuScenes 数据集上的实验表明，ReliFusion 显著优于最先进的方法，在 LiDAR 视野受限和严重传感器故障的场景中实现了卓越的鲁棒性和准确性。
引用
@article{arxiv.2502.01856,
title = {Reliability-Driven LiDAR-Camera Fusion for Robust 3D Object Detection},
author = {Reza Sadeghian and Niloofar Hooshyaripour and Chris Joslin and WonSook Lee},
journal= {arXiv preprint arXiv:2502.01856},
year = {2025}
}