一维深度线性神经网络梯度下降的指数级收敛时间

我们研究了在形式为 $f(\prod_{i=1}^{k} w_i)$ 的目标函数（关于标量参数 $w_1,\ldots,w_k$）上梯度下降的动力学，这类函数出现在训练深度为 $k$ 的线性神经网络的场景中。我们证明，对于标准随机初始化，并在对 $f$ 的温和假设下，收敛所需的迭代次数随深度 $k$ 呈指数级增长。我们还通过实验表明，这一现象可能发生在更高维情形中，其中每个 $w_i$ 是一个矩阵。这凸显了在理解深度线性神经网络（其中 $k$ 较大）基于梯度方法的收敛性时的一个潜在障碍。