ReMamba：为 Mamba 提供有效的长序列建模
计算与语言
2025-01-03 v4
摘要
虽然 Mamba 架构在短上下文自然语言处理任务中表现出卓越的推理效率和具竞争力的性能，但实证表明其理解长上下文的能力有限于基于转换器的模型。在本研究中，我们探讨了 Mamba 模型的长上下文效率问题，提出 ReMamba 以增强 Mamba 理解长上下文的能力。ReMamba 在两个阶段的重新前向过程中集成了选择性压缩和适应技术，仅引入最小的额外推理成本开销。在 LongBench 和 L-Eval 基准测试上的实验结果表明，ReMamba 的有效性，相较于基线提升了3.2和1.6分，几乎与同规模的转换器模型性能相当。
引用
@article{arxiv.2408.15496,
title = {ReMamba: Equip Mamba with Effective Long-Sequence Modeling},
author = {Danlong Yuan and Jiahao Liu and Bei Li and Huishuai Zhang and Jingang Wang and Xunliang Cai and Dongyan Zhao},
journal= {arXiv preprint arXiv:2408.15496},
year = {2025}
}