论选择性状态空间层的表达能力：一种多元多项式方法
机器学习
2025-02-05 v1
摘要
高效序列建模的最新进展引入了选择性状态空间层，这是Mamba架构的关键组件，已在广泛的NLP和视觉任务中展现出显著的成功。尽管Mamba的经验性能在这些多样化的基准上已匹配或超越了SoTA Transformer，但其强大表示能力背后的理论基础仍较少被探索。在这项工作中，我们使用多元多项式研究了选择性状态空间层的表达能力，并证明它们在表达能力上超越了线性Transformer。因此，我们的发现表明，对于长序列，Mamba比基于线性注意力的模型提供了更强的表示能力，同时没有牺牲其泛化能力。我们的理论见解得到了在各种数据集上进行的大量经验实验的验证。
引用
@article{arxiv.2502.02209,
title = {On the Expressivity of Selective State-Space Layers: A Multivariate Polynomial Approach},
author = {Edo Cohen-Karlik and Itamar Zimerman and Liane Galanti and Ido Atad and Amir Globerson and Lior Wolf},
journal= {arXiv preprint arXiv:2502.02209},
year = {2025}
}