门控 Delta 网络：通过 Delta 规则改进 Mamba2

Songlin Yang; Jan Kautz; Ali Hatamizadeh

门控 Delta 网络：通过 Delta 规则改进 Mamba2

计算与语言 2025-03-07 v3 机器学习

作者: Songlin Yang , Jan Kautz , Ali Hatamizadeh

摘要

线性 Transformer 作为标准 Transformer 的高效替代方案受到关注，但其在检索和长上下文任务中的性能有限。为解决这些局限性，近期工作探索了两种不同的机制：用于自适应记忆控制的门控机制，以及用于精确记忆修改的 Delta 更新规则。我们观察到这些机制是互补的：门控实现快速记忆擦除，而 Delta 规则实现精准更新。基于这一洞察，我们提出了门控 Delta 规则，并开发了针对现代硬件优化的并行训练算法。我们提出的架构 Gated DeltaNet 在多个基准测试上持续超越现有模型，如 Mamba2 和 DeltaNet，涵盖语言建模、常识推理、上下文内检索、长度外推和长上下文理解。我们进一步通过开发混合架构来提升性能，将 Gated DeltaNet 层与滑动窗口注意力或 Mamba2 层相结合，在提高训练效率的同时实现了优越的任务性能。

关键词

门控 Delta 网络 Mamba2 增量规则线性 Transformer 长上下文建模并行训练记忆控制语言建模

引用

@article{arxiv.2412.06464,
  title  = {Gated Delta Networks: Improving Mamba2 with Delta Rule},
  author = {Songlin Yang and Jan Kautz and Ali Hatamizadeh},
  journal= {arXiv preprint arXiv:2412.06464},
  year   = {2025}
}

备注

ICLR 2025 camera ready

门控 Delta 网络：通过 Delta 规则改进 Mamba2

摘要

关键词

引用

备注

相关论文