权值初始配置对人工神经网络训练与功能的影响

神经网络的功能与性能在很大程度上由其权值和偏置在训练过程中的演化决定，从这些信息参数的初始配置出发，到达损失函数的某个局部极小。我们对经由随机梯度下降(SGD)训练的不同规模双隐层ReLU网络的权值偏离其初始随机配置的程度进行了定量统计刻画。我们将该偏离的分布函数的演化与训练中损失的演化进行比较。我们观察到，经由SGD的成功训练使网络停留在其权值初始配置的邻近区域。对于每条连接的每个初始权值，我们测量了训练后相对于该值的偏离的分布函数，并发现该分布及其峰值的矩如何依赖于初始权值。我们探究了这些偏离在训练中的演化，并观察到在过拟合区域内出现突变式增长。这一跳跃与损失函数演化中记录的类似突变式增长同时发生。我们的结果表明，SGD高效寻找局部极小的能力局限于权值随机初始配置的附近。