StableSSM：通过稳定重参数化缓解状态空间模型中的记忆诅咒

在本文中，我们从参数化的角度研究了状态空间模型（SSMs）的长期记忆学习能力。我们证明，未经任何重参数化的状态空间模型表现出类似于传统 RNN 的记忆限制：能够被状态空间模型稳定逼近的目标关系必须具有指数衰减的记忆。我们的分析将这种“记忆诅咒”归因于循环权重收敛到稳定性边界，表明重参数化技术可以是有效的。为此，我们引入了一类针对 SSMs 的重参数化技术，有效解除了其记忆限制。除了提升逼近能力外，我们进一步说明，对重参数化方案的系统性选择还能增强优化稳定性。我们使用合成数据集、语言模型和图像分类验证了我们的发现。