无限宽度持续多久？长程线性递减模型中的信号传播

我们研究在有限宽度下的线性递归模型中的信号传播。虽然现有的信号传播理论主要依赖于无限宽度极限，但对于递归深度 $t$ 随宽度 $n$ 同步增长时，该近似保持准确性的时间尚不清晰。这一问题在现代递归序列模型中尤为关键，因为其自然的运行 regime 涉及很长的输入序列，即较大的 $t$。我们推导了在复高斯初始化下，线性递减模型中隐藏状态信号能量的精确有限宽度公式。利用这些公式，我们识别了支配信号传播的联合深度宽度比例尺：(i) 次临界 regime $t=o(\sqrt n)$，其中无限宽度近似仍然有效；(ii) 临界 regime $t\sim c\sqrt n$，其中出现对无限宽度预测的非平凡偏差并涌现出非平凡的联合比例尺极限；(iii) 超临界 regime $t\gg \sqrt n$，其中有限宽度效应占主导。因此，我们的结果精确定位了在长程线性递减中无限宽度理论失效的确切递归深度尺度。进一步，这表明标准初始化方案，如 Glorot，在递归模型中变得不稳定。更广泛地说，我们的结果表明，有限宽度效应在递归模型中的累积速度快于在前馈模型中的，从而导致信号传播行为呈现质族不同。