Mamba 模型的隐藏注意力
机器学习
2024-04-02 v2
摘要
Mamba 层提供了一种高效的选择性状态空间模型（SSM），在建模多个领域（包括 NLP、长程序列处理和计算机视觉）方面非常有效。选择性 SSM 被视为对偶模型，其中一种通过 IO 感知并行扫描在整个序列上进行并行训练，并以自回归方式部署。我们添加了第三种视角，并表明此类模型可被视为注意力驱动的模型。这一新视角使我们能够在经验和理论上将其底层机制与 Transformer 中的自注意力层进行比较，并允许我们通过可解释性方法窥探 Mamba 模型的内部工作原理。我们的代码已公开提供。
引用
@article{arxiv.2403.01590,
title = {The Hidden Attention of Mamba Models},
author = {Ameen Ali and Itamar Zimerman and Lior Wolf},
journal= {arXiv preprint arXiv:2403.01590},
year = {2024}
}