Surface Vision Mamba：利用双向状态空间模型实现高效球面流形表示
计算机视觉与模式识别
2025-02-21 v5 人工智能
摘要
注意力方法在球面皮层表面建模长程依赖方面表现卓越，超越传统的几何深度学习（GDL）模型。然而，其推理时间长大内存占用高，限制了在计算资源有限的大数据集上的应用。灵感来自计算机视觉中的状态空间模型，我们引入无注意力的 Vision Mamba（Vim）到球面表面，提出一种领域无关的球面数据分析架构。该方法通过将球面数据表示为从细分 icosphere 中派生的三角形补丁序列来实现表面分块。我们评估的 Surface Vision Mamba（SiM）在多个神经发育表型回归任务上使用新生儿大脑皮层表面指标。实验结果表明，SiM 在注意力和 GDL 方法中均取得优异性能，相较于 Ico-4 网格划分下的 Surface Vision Transformer（SiT），推理速度快 4.8 倍，内存消耗降低 91.7%。灵敏度分析进一步凸显了 SiM 在识别细微认知发育模式方面的潜力。代码已公开于 https://github.com/Rongzhao-He/surface-vision-mamba。
关键词
引用
@article{arxiv.2501.14679,
title = {Surface Vision Mamba: Leveraging Bidirectional State Space Model for Efficient Spherical Manifold Representation},
author = {Rongzhao He and Weihao Zheng and Leilei Zhao and Ying Wang and Dalin Zhu and Dan Wu and Bin Hu},
journal= {arXiv preprint arXiv:2501.14679},
year = {2025}
}