2Mamba2Furious：线性复杂度，准确性竞争力强

线性注意力变换器因其高效性成为softmax注意力的有力替代方案。然而，线性注意力往往在表达性上不足，导致其准确性低于softmax注意力。为弥合softmax注意力与线性注意力之间的准确性差距，我们改造了一种强大的线性注意力变体——Mamba-2。我们首先将Mamba-2简化至其最基本且最重要的组成部分，评估哪些具体选择使其最具准确性。基于这一简化后的Mamba变体（Mamba-2S），我们改进了A-mask并增加了隐藏状态的阶数，得到一种方法，称为2Mamba，几乎达到softmax注意力的准确性，却在长上下文长度上具有更高的内存效率。我们还探讨了哪些元素有助于超越softmax注意力的准确性。所有实验的代码均已提供。