通过近线性循环神经网络探索非线性在序列建模中的计算角色

自然语言处理、时间序列预测和控制等领域的序列建模任务需要学习复杂的输入-输出映射。虽然线性循环模型常常意外地表现良好，但非线性循环仍被理论上认为是实现序列到序列函数通用逼近的必要条件。这引出了一个问题：非线性究竟在何时是必需的。我们提出一种框架，系统性地剖析循环网络中非线性的功能角色，确定其何时是计算必需的以及哪些机制它所启用。我们采用近线性循环神经网络 (AL-RNN)，该网络允许逐渐减弱循环非线性，并将网络动力学分解为可分析的线性范畴，从而使计算机制显式。我们在多样化的合成和真实世界任务上展示了该框架，包括经典序列建模基准、神经科学刺激选择任务以及多任务套件。我们展示了 AL-RNN 的分段线性结构如何识别计算原语，如门控、基于规则的积分和记忆相关的瞬态，从而揭示了这些操作在主要由线性骨干构成的网络中如何出现。在各种任务中，稀疏非线性通过减少和局部化非线性计算来提高可解释性，在多任务设置中促进共享表征，并降低计算成本。此外，稀疏非线性也是一个有用的归纳偏置：在数据有限的情形或任务需要在线性范畴之间进行离散切换时，稀疏非线性模型往往能匹配或超过完全非线性体系结构。我们的发现为确定非线性在何时是功能必需的提供了原则方法，指导设计在性能、效率和可解释性之间进行权衡的循环体系结构。