中文

LION:用于点云中3D目标检测的线性分组循环神经网络

计算机视觉与模式识别 2024-07-26 v1

摘要

变压器在大规模3D点云感知任务(如3D目标检测)中的优势受限于其在建模长程关系时的二次计算复杂度。相比之下,线性循环神经网络具有低计算复杂度,适用于长程建模。为此,我们提出了一个基于LInear grOup RNN(即对分组特征执行线性RNN)构建的简单且有效的基于窗口的框架,用于准确的3D目标检测,称为LION。其关键属性是允许在远大于基于变压器的方法的更大的组内进行充分的特征交互。然而,由于其在处理空间建模方面的局限性,有效地将线性分组RNN应用于高度稀疏点云中的3D目标检测并非易事。为解决这一问题,我们仅引入一种3D空间特征描述符,并将其整合到线性分组RNN算子中,以增强其空间特征,而非盲目增加体素特征的扫描顺序数量。为进一步应对高度稀疏点云中的挑战,我们提出了一种3D体素生成策略,通过线性分组RNN的自回归模型特性对前景特征进行稀疏化。广泛的实验验证了所提组件的有效性以及LION在包括Mamba、RWKV和RetNet等不同线性分组RNN算子上的泛化性。值得一提的是,我们的LION-Mamba在Waymo、nuScenes、Argoverse V2和ONCE数据集上实现了最先进的性能。最后,我们的方法支持各种先进的线性RNN算子(如RetNet、RWKV、Mamba、xLSTM和TTT)在规模较小但流行的KITTI数据集上进行快速体验,以便用户快速体验基于线性RNN的框架。

关键词

引用

@article{arxiv.2407.18232,
  title  = {LION: Linear Group RNN for 3D Object Detection in Point Clouds},
  author = {Zhe Liu and Jinghua Hou and Xinyu Wang and Xiaoqing Ye and Jingdong Wang and Hengshuang Zhao and Xiang Bai},
  journal= {arXiv preprint arXiv:2407.18232},
  year   = {2024}
}

备注

Project page: https://happinesslz.github.io/projects/LION/