重新审视长程线性递归中的 Glorot 初始化
机器学习
2025-05-27 v1 人工智能
摘要
适当的初始化对于循环神经网络（RNN）至关重要，尤其是在长程推理任务中，同一权重矩阵的重复应用可能导致信号消失或爆炸。线性递归的一个常见基线是 Glorot 初始化，旨在确保稳定的信号传播——但它是在无限宽度、固定长度的机制下推导的——这对于处理长序列的 RNN 而言是不切实际的设定。在本工作中，我们表明 Glorot 初始化实际上是不稳定的：谱半径的微小正偏差会随时间被放大，并导致隐状态爆炸。我们的理论分析证明，长度为 （其中 为隐藏宽度）的序列足以引发不稳定性。为解决此问题，我们提出了一种简单的、维度感知的 Glorot 重缩放方法，将谱半径略微移至 1 以下，以防止信号快速爆炸或衰减。这些结果表明，标准初始化方案在长序列机制下可能会失效，这促使我们需要为稳定的循环初始化建立一套独立的理论。
关键词
引用
@article{arxiv.2505.19827,
title = {Revisiting Glorot Initialization for Long-Range Linear Recurrences},
author = {Noga Bar and Mariia Seleznova and Yotam Alexander and Gitta Kutyniok and Raja Giryes},
journal= {arXiv preprint arXiv:2505.19827},
year = {2025}
}