LongSSM：语言建模中状态空间模型的长度扩展研究

在本文中，我们研究了语言建模中状态空间模型（SSMs）的长度扩展问题。长度扩展涉及在短序列上训练模型并在长序列上进行测试。我们表明，使用零隐藏状态初始化训练的状态空间模型难以进行长度扩展。我们通过指出长度扩展等价于多项式外推来解释这一困难。基于该理论，我们提出了一种简单而有效的方法——改变隐藏状态初始化方案——来改进长度扩展。此外，我们的方法表明，使用较长的训练序列长度对长度扩展有益，但并非必需。改变隐藏状态初始化使得能够以较小的训练上下文长度高效地训练长记忆模型。