Memba：面向Mamba的膜动力参数高效微调
机器学习
2026-03-03 v2
摘要
状态空间模型(SSM)已成为注意力机制 Transformer 的强大替代方案，Mamba 在效率和可扩展性方面表现突出。随着这些模型不断增大，对进行参数高效微调(PEFT)方法的需求日益增长，以便在下游任务上对预训练的 Mamba 进行适配，而不会产生高昂的计算成本。然而，先前的方法仅简单地应用传统的 Transformer 定制 PEFT 方法，而未解决 SSM 独特的时间处理动力学。为此，我们提出了 Memba，一种专为 Mamba 设计的膜动力 PEFT 方法。Memba 引入了漏积积分膜(LIM)神经元作为类生物启发的门控机制，自然地在时间上累积膜电位，从而增强选择性信息保留。通过将 LIM 神经元与低秩适配(LoRA)以及跨层膜传递策略性地组合，我们的方法显著提高了 Mamba 的时序建模能力。广泛的实验在语言和视觉任务上表明，Memba 在现有 PEFT 方法方面实现了显著的改进。代码可在 https://github.com/Intelligent-Computing-Lab-Yale/Memba 查阅。
引用
@article{arxiv.2506.18184,
title = {Memba: Membrane-driven Parameter-Efficient Fine-Tuning for Mamba},
author = {Donghyun Lee and Yuhang Li and Ruokai Yin and Shiting Xiao and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2506.18184},
year = {2026}
}
备注
ICLR 2026