重新思考 Mamba/SSM 和 Transformer 模型中的长程依赖性
机器学习
2025-09-05 v1
摘要
长程依赖性是近期序列模型（如状态空间模型（特别是 Mamba）和 Transformer 模型）最期望的特性之一。新的模型架构正在被积极开发，并针对需要长程依赖性的预测任务进行基准测试。然而，这些模型建模长程依赖性的能力尚未从理论角度进行研究，这阻碍了在这方面进行系统性改进。在这项工作中，我们使用隐藏状态相对于过去输入的导数在数学上定义了长程依赖性，并基于此定义比较了 SSM 和 Transformer 模型建模长程依赖性的能力。我们表明，SSM 的长程依赖性随序列长度呈指数衰减，这与 RNN 中记忆函数的指数衰减一致。但 Transformer 中使用的注意力机制更加灵活，不受指数衰减的约束，理论上在拥有足够训练数据、计算资源和适当训练的情况下，可以更好地建模长程依赖性。为了结合注意力机制长程依赖性的灵活性和 SSM 的计算效率，我们提出了一种新的 SSM 隐藏状态更新公式，并证明了其在输入数据服从标准高斯分布下的稳定性。
引用
@article{arxiv.2509.04226,
title = {Rethinking the long-range dependency in Mamba/SSM and transformer models},
author = {Cong Ma and Kayvan Najarian},
journal= {arXiv preprint arXiv:2509.04226},
year = {2025}
}