固定点 RNN：从对角到稠密的插值
机器学习
2025-10-27 v3
摘要
线性循环神经网络（RNN）和状态空间模型（SSMs）如 Mamba 已成为 Transformer 架构中用于序列混合的softmax 注意力的有前景的替代方案。然而，当前模型由于依赖于按通道（即对角）序列混合，不具备 RNN 完全状态跟踪表达性。本文我们研究将大类稠密线性 RNN 的参数化作为可并行化对角线性 RNN 的固定点。所得模型可以自然地在固定参数数量下以效率与表达性进行权衡，并在 state-tracking benchmarks 和 上实现最先进的结果，同时在复制和其他任务上保持一致的性能。
引用
@article{arxiv.2503.10799,
title = {Fixed-Point RNNs: Interpolating from Diagonal to Dense},
author = {Sajad Movahedi and Felix Sarnthein and Nicola Muca Cirone and Antonio Orvieto},
journal= {arXiv preprint arXiv:2503.10799},
year = {2025}
}
备注
NeurIPS 2025 (Spotlight)