SparseFusion: 用于远距离3D感知的高效稀疏多模态融合框架
计算机视觉与模式识别
2024-03-18 v1
摘要
多模态3D目标检测近年来取得了显著进展。然而，大多数现有方法由于依赖于密集的3D特征，难以扩展到远距离场景，这极大地增加了计算需求和内存使用。在本文中，我们介绍了SparseFusion，一种完全基于稀疏3D特征构建的新型多模态融合框架，以促进高效的远距离感知。我们方法的核心是稀疏视图变换器模块，它选择性地将2D图像空间中的感兴趣区域提升到统一的3D空间中。所提出的模块从语义和几何两个方面引入稀疏性，仅填充前景物体可能占据的网格。全面的实验验证了我们的框架在远距离3D感知中的效率和有效性。值得注意的是，在远距离Argoverse2数据集上，与密集检测器相比，SparseFusion减少了内存占用并将推理速度提高了约两倍。它还以41.2%的mAP和32.1%的CDS实现了最先进的性能。SparseFusion的通用性也在时序目标检测任务和3D车道检测任务中得到了验证。代码将在接收后发布。
引用
@article{arxiv.2403.10036,
title = {SparseFusion: Efficient Sparse Multi-Modal Fusion Framework for Long-Range 3D Perception},
author = {Yiheng Li and Hongyang Li and Zehao Huang and Hong Chang and Naiyan Wang},
journal= {arXiv preprint arXiv:2403.10036},
year = {2024}
}