用于户外场景中 LiDAR 与相机 3D 目标检测的多流网络
计算机视觉与模式识别
2025-07-28 v1 人工智能
摘要
LiDAR 与 RGB 数据的融合有潜力提升户外 3D 目标检测的精度。为应对户外 3D 目标检测中的现实挑战，LiDAR 与 RGB 输入的融合已开始受到关注。然而，有效整合这些模态以实现精确目标检测任务仍是一个很大程度上开放的问题。为此，我们提出了一种多流检测网络，从两种数据模态中精细地提取任务相关信息。该网络遵循三流结构。其 LiDAR-PillarNet 流从 LiDAR 输入中提取稀疏 2D 柱状特征，而 LiDAR-Height Compression 流计算鸟瞰图特征。额外的 3D 多模态流使用 UV 映射和极坐标索引结合 RGB 和 LiDAR 特征。最终，包含全面空间、纹理和几何信息的特征被仔细融合并馈送到检测头进行 3D 目标检测。我们在具有挑战性的 KITTI Object Detection Benchmark 上使用公开测试服务器进行了广泛评估，通过在不同类别中取得新的 SOTA 或极具竞争力的结果，同时保持最高效方法之一的地位，确立了该方法的有效性。我们的代码将通过 MuStD GitHub 仓库发布：https://github.com/IbrahimUWA/MuStD.git
引用
@article{arxiv.2507.19304,
title = {Multistream Network for LiDAR and Camera-based 3D Object Detection in Outdoor Scenes},
author = {Muhammad Ibrahim and Naveed Akhtar and Haitian Wang and Saeed Anwar and Ajmal Mian},
journal= {arXiv preprint arXiv:2507.19304},
year = {2025}
}
备注
This paper has been accepted by IEEE/RSJ IROS 2025 for oral presentation on 19 Oct. 2025