DeltaProduct：通过 Householder 积改进线性 RNN 的状态跟踪

线性循环神经网络 (linear RNN) 已成为变 Transformer 序列建模的有竞争力的替代方案，具有高效训练和线性时间推理优势。然而，现有架构在表达性和效率之间存在根本性权衡，这取决于其状态转换矩阵的结构。对角矩阵（如 Mamba、GLA 或 mLSTM 中使用）实现快速运行但表达性有限。为此，最近的架构如 DeltaNet 和 RWKV-7 采用对角加上秩-1 结构，实现了同时进行 token 和通道混合，从而改进了关联记忆，近期研究表明当允许状态转换矩阵具有负特征值时，能改进状态跟踪性能。基于对 DeltaNet 递归被解释为对关联记忆损失执行每个 token 的一次在线梯度下降，我们引入 DeltaProduct，其则在每个 token 上执行多个 ($n_h$) 步。这自然导致对角加上秩-$n_h$ 状态转换矩阵，由 $n_h$ 个广义 Householder 变换的乘积形成，提供一种可调的机制来平衡表达性和效率。我们对 DeltaProduct 在有限精度下状态跟踪能力的详细理论表征表明，通过增加 $n_h$ 可实现性能提升。我们的广泛实验表明，DeltaProduct 在状态跟踪和语言建模方面均优于 DeltaNet，同时在长度外推能力方面表现显著更佳。