理解Mamba中的输入选择性：对近似能力、记忆和关联回忆能力的影响
机器学习
2025-06-16 v1
摘要
状态空间模型（SSM），特别是Mamba，最近作为Transformer的有前景替代方案出现。Mamba在其SSM层（S6）中引入了输入选择性，并在其块定义中集成了卷积和门控。虽然这些修改确实改善了Mamba相对于其SSM前身的性能，但Mamba如何利用输入选择性提供的额外功能，以及这些功能如何与Mamba架构中的其他操作相互作用，仍然很大程度上不清楚。在这项工作中，我们揭示了Mamba中输入选择性的作用，调查其对函数近似能力、长期记忆和关联回忆能力的影响。具体而言：（i）我们证明Mamba的S6层可以表示Haar小波上的投影，在近似实践中常见的间断函数方面优于其对角SSM（S4D）前身；（ii）我们展示了S6层如何动态对抗记忆衰减；（iii）我们使用不同混合器的Mamba架构——Mamba、Mamba-2和S4D——提供了MQAR关联回忆任务的解析解。我们通过具体任务上的实证结果证明了理论构造的紧密性。我们的发现提供了对Mamba的机制性理解，并揭示了改进的机会。
引用
@article{arxiv.2506.11891,
title = {Understanding Input Selectivity in Mamba: Impact on Approximation Power, Memorization, and Associative Recall Capacity},
author = {Ningyuan Huang and Miguel Sarabia and Abhinav Moudgil and Pau Rodriguez and Luca Zappella and Federico Danieli},
journal= {arXiv preprint arXiv:2506.11891},
year = {2025}
}