STREAM：一种面向稀疏几何数据的通用状态空间模型
计算机视觉与模式识别
2024-11-25 v2 人工智能
机器学习
神经与进化计算
摘要
处理稀疏且非结构化的几何数据（如点云或基于事件的视觉）是机器视觉领域的一项紧迫挑战。最近，Transformers 和状态空间模型等序列模型进入了几何数据领域。这些方法需要专门的预处理来为点集创建序列视图。此外，涉及序列模型的现有工作以均匀或学习的步长迭代几何数据，隐含地依赖模型来推断潜在的几何结构。在这项工作中，我们提议将几何结构显式编码到状态空间模型的参数化中。状态空间模型基于由一维变量（如时间或空间坐标）控制的线性动力学。我们利用这一动态变量，将坐标的相对差异注入到状态空间模型的步长中。由此产生的几何操作在 步内计算所有 个点对之间的相互作用。我们的模型部署了带有修改版 CUDA 内核的 Mamba 选择性状态空间模型，以将稀疏几何数据高效映射到现代硬件上。我们将由此产生的序列模型称为 STREAM，它在从点云分类到基于事件的视觉和音频分类的一系列基准测试中取得了具有竞争力的结果。STREAM 通过在 ModelNet40 和 ScanObjectNN 点云分析数据集上从零开始训练时改进 PointMamba 基线，展现了对稀疏几何数据的强大归纳偏置。它还首次在 DVS128 Gestures 数据集的全部 11 个类别上实现了 100% 的测试准确率。
引用
@article{arxiv.2411.12603,
title = {STREAM: A Universal State-Space Model for Sparse Geometric Data},
author = {Mark Schöne and Yash Bhisikar and Karan Bania and Khaleelulla Khan Nazeer and Christian Mayr and Anand Subramoney and David Kappel},
journal= {arXiv preprint arXiv:2411.12603},
year = {2024}
}