将 RNN 视为线性 Transformer：对视觉 Mamba 模型表征潜力的深入探讨

Timing Yang; Guoyizhe Wei; Alan Yuille; Feng Wang

将 RNN 视为线性 Transformer：对视觉 Mamba 模型表征潜力的深入探讨

计算机视觉与模式识别 2025-11-25 v1

作者: Timing Yang , Guoyizhe Wei , Alan Yuille , Feng Wang

摘要

Mamba 近期因作为视觉任务的有效 backbone 而受到关注.然而,其在视觉领域的底层机制仍鲜有了解.本文系统地调查了 Mamba 的表征属性,并作出三个主要贡献.首先,我们理论上分析了 Mamba 与 Softmax 和线性注意力的关系,确认其可视为 Softmax 注意力的低秩近似值,从而弥合 Softmax 形式与线性形式之间的表征差距.其次,我们引入一种新的二进制分割指标用于评估激活图,将定性评估扩展为量化衡量,表明 Mamba 有能力建模长程依赖.最后,通过利用 DINO 进行自监督预训练,我们获得的激活图清晰程度超过标准监督方法,凸显了 Mamba 在可解释性方面的潜力.值得注意的是,我们的模型在 ImageNet 上实现了 78.5% 的线性探测准确率,彰显了其强大的性能.我们希望本工作为未来对 Mamba 基础视觉架构的调查提供有价值的见解.

关键词

Mamba 线性注意力视觉建模长程依赖自监督学习 ImageNet

引用

@article{arxiv.2511.18380,
  title  = {RNN as Linear Transformer: A Closer Investigation into Representational Potentials of Visual Mamba Models},
  author = {Timing Yang and Guoyizhe Wei and Alan Yuille and Feng Wang},
  journal= {arXiv preprint arXiv:2511.18380},
  year   = {2025}
}

将 RNN 视为线性 Transformer：对视觉 Mamba 模型表征潜力的深入探讨

摘要

关键词

引用

相关论文