NIMBA：利用状态空间模型实现鲁棒且原则性的点云处理
计算机视觉与模式识别
2024-11-04 v1 机器学习
摘要
Transformer 已在包括文本、2D 和 3D 视觉在内的多个领域的大规模深度学习任务中占据主导地位。然而，其注意力机制的二次复杂度限制了在序列长度增加时的效率，尤其是在点云等高分辨率 3D 数据中。最近，像 Mamba 这样的状态空间模型（SSM）已成为有前景的替代方案，在长序列任务中提供线性复杂度、可扩展性和高性能。在该领域应用 SSM 的关键挑战在于，如何调和点云的非顺序结构与 Mamba 等循环模型固有的方向性（或双向）顺序依赖处理。为实现这一点，先前的研究提出沿 3D 空间中的多个方向或预定路径重组点云，并将结果连接起来以生成一个捕获不同视图的单一 1D 序列。在我们的工作中，我们引入了一种将点云转换为 1D 序列的方法，该方法无需数据复制即可保持 3D 空间结构，使得 Mamba 的顺序处理能够以几乎置换不变的方式有效应用。与其他工作相比，我们发现我们的方法不需要位置嵌入，并且允许更短的序列长度，同时在 ModelNet40 和 ScanObjectNN 数据集上取得了最先进的结果，并在准确性和效率上超越了基于 Transformer 的模型。
引用
@article{arxiv.2411.00151,
title = {NIMBA: Towards Robust and Principled Processing of Point Clouds With SSMs},
author = {Nursena Köprücü and Destiny Okpekpe and Antonio Orvieto},
journal= {arXiv preprint arXiv:2411.00151},
year = {2024}
}