非线性状态空间模型的并行化：扩展液阻液容网络以实现高效序列建模

我们提出了 LrcSSM，一种 $\textit{非线性}$ 循环模型，它能以与当今线性状态空间层相当的速度处理长序列。通过强制其雅可比矩阵对角化，完整序列可以并行求解，对于输入序列长度 $T$ 和状态维度 $D$，仅需 $\mathcal{O}(TD)$ 的计算量与内存开销，且顺序深度仅为 $\mathcal{O}(\log T)$。此外，LrcSSM 提供了 Liquid-S4 和 Mamba 等其他输入可变系统所不具备的梯度稳定性形式化保证。重要的是，我们模型的对角雅可比结构相较于具有稠密雅可比矩阵的原始模型并未造成性能损失，并且该方法可推广至其他非线性循环模型，展现了更广泛的适用性。在一组长程预测任务中，我们证明了 LrcSSM 优于 Transformers、LRU、S5 和 Mamba。