GateLoop：用于序列建模的完全数据控制线性递推

线性递推已被证明是高效建模长序列的有力工具。在这项工作中，我们指出已有模型未能充分利用其潜力。受此发现的启发，我们开发了 GateLoop，一种基础序列模型，它通过采用数据控制的状态转移，推广了 S4、S5、LRU 和 RetNet 等线性递推模型。利用这一理论进展，GateLoop 在自回归语言建模上经验性地优于现有模型。我们的方法具有低成本的 $O(l)$ 递推模式，以及利用高度优化的结合扫描实现的高效 $O(l \log_{2} l)$ 并行模式。此外，我们推导出一个 $O(l^2)$ 的代理注意力模式，揭示了对 Transformer 和近期提出架构的重要启示。具体而言，我们证明我们的方法可解释为向 Attention 提供数据控制的相对位置信息。尽管许多现有模型仅依赖数据控制的累积和进行上下文聚合，我们的发现表明，引入数据控制的复累积积可能是迈向更强大序列模型的关键一步。