BiCo-Fusion：面向语义与空间感知的双向互补 LiDAR-相机融合用于 3D 目标检测
计算机视觉与模式识别
2025-06-12 v3 人工智能
摘要
3D 目标检测是广泛应用于自动驾驶中的重要任务。近期方法通过将 LiDAR 与相机在统一 3D 空间中融合来实现该任务。然而，在统一空间中直接融合这两种模态会保留两者的缺陷（LiDAR 特征难以获取细致的语义信息，相机缺乏准确的 3D 空间信息），从而稀释最终统一表征的语义与空间感知能力。为此，本文提出一种新型的双向互补 LiDAR-相机融合框架，称为 BiCo-Fusion，旨在实现稳健的语义与空间感知 3D 目标检测。关键思想是以双向互补方式融合 LiDAR 与相机特征，以增强 LiDAR 的语义感知能力和相机的 3D 空间感知能力。随后，对两种增强后的特征进行自适应融合，以构建语义与空间感知的统一表征。具体而言，本文引入 Pre-Fusion 阶段，包括体素增强模块 (VEM) 用于从 2D 相机特征增强体素特征的语义感知，以及图像增强模块 (IEM) 用于从 3D 体素特征增强相机特征的 3D 空间感知。随后引入统一融合 (U-Fusion) 对增强后的特征进行自适应融合以构建统一表征。大量实验表明，BiCo-Fusion 在现有方法上显著优于基准方法。项目页面: https://t-ys.github.io/BiCo-Fusion/。
关键词
引用
@article{arxiv.2406.19048,
title = {BiCo-Fusion: Bidirectional Complementary LiDAR-Camera Fusion for Semantic- and Spatial-Aware 3D Object Detection},
author = {Yang Song and Lin Wang},
journal= {arXiv preprint arXiv:2406.19048},
year = {2025}
}
备注
Accepted by IEEE Robotics and Automation Letters (RA-L)