通过负特征值解锁线性 RNN 中的状态跟踪能力
摘要
诸如 Mamba、RWKV、GLA、mLSTM 和 DeltaNet 等线性循环神经网络（LRNN）已成为处理长序列时 Transformer 的高效替代方案。然而，Transformer 和 LRNN 在执行状态跟踪方面均存在困难，这可能会影响代码评估等任务的性能。在单次前向传播中，当前架构甚至无法解决奇偶性这一最简单的状态跟踪任务，而非线性 RNN 则能有效处理。最近，Sarrof 等人（2024）证明了 Mamba 等 LRNN 无法解决奇偶性问题是由于将其对角状态转移矩阵的取值范围限制在 内，而引入负值可以解决此问题。我们将此结果推广到 DeltaNet 等非对角 LRNN。我们证明，状态转移矩阵仅具有正特征值的有限精度 LRNN 无法解决奇偶性问题，而模 计数则需要非三角矩阵。值得注意的是，我们还证明，当 LRNN 的状态转移矩阵为单位矩阵减去向量外积矩阵的乘积，且每个矩阵的特征值在 范围内时，LRNN 可以学习任何正则语言。我们的实验证实，将 Mamba 和 DeltaNet 的特征值范围扩展至包含负值，不仅能使它们解决奇偶性问题，还能持续提升其在状态跟踪任务上的性能。我们还表明，具备状态跟踪能力的 LRNN 可以在规模化（1.3B 参数）下稳定且高效地进行预训练，在语言建模上取得具有竞争力的性能，并在代码和数学任务上展现出潜力。
引用
@article{arxiv.2411.12537,
title = {Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues},
author = {Riccardo Grazzi and Julien Siems and Arber Zela and Jörg K. H. Franke and Frank Hutter and Massimiliano Pontil},
journal= {arXiv preprint arXiv:2411.12537},
year = {2025}
}
备注
V2: Correction to Theorem 1 and 2 and to point 3 of Proposition 1. V3: ICLR Camera Ready, V4: ICLR Camera Ready, added figures to theory section, updated modular arithmetic with brackets results because previous results did not contain multiplication