循环自注意力动力学：基于 Jacobian 的能量无关视角

对自注意力（SA）的理论理解正在稳步推进。一个突出的工作路线研究了一类 SA 层，这类 SA 层允许存在一个随状态更新而递减的能量函数。尽管这为信号传播中的内在偏差提供了有价值的见解，但它通常依赖于理想化假设或标准 SA 中未必存在的额外约束。因此，为了拓宽我们的理解，本研究旨在放宽这些能量约束，并通过动力系统分析提供推理动力学的能量无关刻画。更详细地说，我们首先考虑放宽基于能量的公式中传统上要求的对称性和单头约束。接下来，我们表明在研究不一定允许存在能量函数的更一般 SA 架构时，分析状态的 Jacobian 矩阵极具价值。它揭示了归一化层在抑制 SA 的 Lipschitz 连续性和 Jacobian 复特征值（对应于动力学的振荡分量）中起着至关重要的作用。此外，从 Jacobian 计算出的 Lyapunov 指数表明，归一化后的动力学接近临界状态，且这种临界性是高推理性能的强指标。进一步地，Jacobian 视角还使我们能够开发用于训练的正则化方法和用于监控推理动力学的伪能量。