Differential Mamba

序列模型如 Transformer 和 RNN 常常对无关背景过度分配注意力，导致噪声的中间表征。这会降低 LLM 能力，促进幻觉，削弱长程和检索能力，并降低鲁棒性。最近的工作表明，差分设计可在 Transformer 中缓解这一问题，在 various applications 中提高其效果。本文我们探讨了这些技术，最初开发用于 Transformer，是否可以应用于 Mamba，这是一种基于选择性状态空间层的体系结构，实现了比 Transformer 更高的效率。我们展示了一个对 Mamba 进行差分设计的 naïve 适应是不够的，需要仔细的体系结构修改。为此，我们引入了一种 Mamba 的新型差分机制，在语言建模基准测试中进行了经验验证，证明其在检索能力方面具有改进，并在 vanilla Mamba 上表现出优越性。最后，我们进行了大量消除实验和经验分析，以证明我们的设计选择是合理的，并提供证据表明我们的做法有效缓解了 Mamba-based 模型中的整体分配问题。我们的代码已公开：https://github.com/NadavSc/Diff-Mamba