重新审视循环神经网络中的双线性状态转移

循环神经网络中隐藏单元的作用通常被视为建模记忆，研究重点在于通过门控机制增强信息保留。一种较少被探索的观点将隐藏单元视为网络计算中的主动参与者，而非被动的记忆存储。在本研究中，我们重新审视双线性操作，即隐藏单元与输入嵌入之间的乘性交互。我们从理论和经验上证明，它们构成了表示状态跟踪任务中隐藏状态演化的自然归纳偏置。这类任务是最简单的一类需要隐藏单元对网络行为做出主动贡献的任务。我们还表明，双线性状态更新形成了一个与复杂度递增的状态跟踪任务相对应的自然层次结构，而诸如 Mamba 等流行的线性循环网络则位于该层次结构中复杂度最低的中心位置。