增强视觉状态空间模型空间感知性：多维扫描与遍历选择
计算机视觉与模式识别
2026-02-03 v1
摘要
状态空间模型（SSMs）最近因其线性复杂度下的全局关系建模能力而成为变压器的替代方案，但其在视觉任务中的成功受限于其因果形式，这种形式适用于序列文本，但对空间领域有害，因果性破坏了像素或 patch 之间的内在空间关系。结果是，标准 SSMs 无法捕捉局部空间一致性，常将非相邻的 patch 关联，而忽略视觉相关的相邻 patch。为解决这些限制，我们引入 OCTOPUS，一种新型架构，在保持 SSM 级别线性复杂度的同时，既保留全局语境又保留局部空间结构。OCTOPUS 在八个主要方向上执行离散复occurrence，沿水平、垂直和对角方向前后移动，允许在所有空间上连接的区域之间有效交换信息，同时保持不相关 patch 之间的独立性。这种设计实现了多向复occurrence，既以 SSM 级别的效率捕捉全局语境，又捕捉局部空间结构。在我们的分类和分割基准测试中，OCTOPUS 在边界保持和区域一致性方面显著优于现有 V-SSM 基于模型，同时在分类准确率上保持较好的表现。这些结果表明 OCTOPUS 作为一种可扩展且有效的多向复occurrence机制，似乎是构建具有空间感知性和计算效率视觉架构的基础方法。
引用
@article{arxiv.2602.00904,
title = {OCTOPUS: Enhancing the Spatial-Awareness of Vision SSMs with Multi-Dimensional Scans and Traversal Selection},
author = {Kunal Mahatha and Ali Bahri and Pierre Marza and Sahar Dastani and Maria Vakalopoulou and Stergios Christodoulidis and Jose Dolz and Christian Desrosiers},
journal= {arXiv preprint arXiv:2602.00904},
year = {2026}
}