面向 3D 目标检测的全稀疏融合

当前主流的多模态 3D 检测方法建立在基于 LiDAR 的检测器之上，这类检测器通常使用稠密的鸟瞰图 (BEV) 特征图。然而，此类 BEV 特征图的成本与检测范围呈二次关系，使其不适用于远距离检测。全稀疏架构因在远距离感知中高效而受到关注。本文研究如何在新兴的全稀疏架构中有效利用图像模态。具体而言，利用实例查询 (instance queries)，我们的框架将研究成熟的 2D 实例分割集成到 LiDAR 侧，与全稀疏检测器中的 3D 实例分割部分并行。该设计在 2D 和 3D 两侧实现了统一的基于查询的融合框架，同时保持了全稀疏特性。大量实验在广泛使用的 nuScenes 数据集和远距离 Argoverse 2 数据集上展示了最先进的结果。值得注意的是，在远距离 LiDAR 感知设置下，所提方法的推理速度比其他最先进的多模态 3D 检测方法快 2.7 $\times$。代码将发布于 \url{https://github.com/BraveGroup/FullySparseFusion}。