Mamba状态空间模型是李雅普诺夫稳定的学习器

John T. Halloran; Manbir Gulati; Paul F. Roysdon

Mamba状态空间模型是李雅普诺夫稳定的学习器

机器学习 2025-09-01 v3 人工智能

作者: John T. Halloran , Manbir Gulati , Paul F. Roysdon

摘要

Mamba状态空间模型(SSMs)近期在各种任务中超越了最先进的(SOTA)Transformer大语言模型(LLMs)，并被广泛采用。然而，对于基于循环的深度模型(如SSMs)而言，稳定学习的一个主要关注点在于其循环动力学的敏感性。尽管被广泛采用，Mamba的循环动力学在常见微调方法(如混合精度微调(MPFT)和参数高效微调(PEFT))下的敏感性仍未得到探索。经验上，我们表明Mamba LLMs对MPFT和PEFT组合引入的变化极其稳定，这与Transformer LLMs形成鲜明对比，我们证明后者在不同的MPFT和PEFT组合下(尽管这些微调框架在基于注意力的模型中几乎被普遍采用)可能会与其各自的全精度对应模型发生剧烈偏离。Mamba LLMs所展示的鲁棒性源于其循环动力学，我们利用动力系统理论(特别是李雅普诺夫稳定性)证明这些动力学保证是稳定的。最后，我们通过使用MPFT和PEFT新颖地研究Mamba LLMs在自然语言任务上的上下文学习(ICL)能力，从而补充了其他近期工作。

关键词

Mamba状态空间模型李雅普诺夫稳定性循环动力学混合精度微调参数高效微调上下文学习大语言模型

引用

@article{arxiv.2406.00209,
  title  = {Mamba State-Space Models Are Lyapunov-Stable Learners},
  author = {John T. Halloran and Manbir Gulati and Paul F. Roysdon},
  journal= {arXiv preprint arXiv:2406.00209},
  year   = {2025}
}

备注

TMLR, 27 pages, 12 figures, 4 tables

Mamba状态空间模型是李雅普诺夫稳定的学习器

摘要

关键词

引用

备注

相关论文