DNN 随机权重及其固定点的出现

本文关注一类输入向量与输出向量维度相同的深度神经网络（DNNs）。此类网络在应用中广泛使用，例如自编码器。网络的训练可由其固定点（FPs）进行特征化。我们关注固定点数量及其稳定性对随机初始化 DNN 权重矩阵分布的依赖性。具体而言，我们考虑独立同分布（i.i.d.）具有重尾和轻尾分布的随机权重。我们的目标有两个方面：首先，探讨固定点数量和稳定性对分布尾部类型之间的依赖性；其次，探讨固定点数量对 DNN 架构的依赖性。我们进行大量仿真实验，表明对于轻尾分布（如高斯），通常用于初始化，广泛的架构类型下仅存在一个稳定的固定点。相比之下，对于重尾分布（如 Cauchy），这类分布通常出现在训练后的 DNN 中，存在多个固定点。我们进一步观察到，这些固定点是稳定的吸引子，其吸引域将输入向量的域划分为多个子域。最后，我们观察到固定点数量 Q(L) 对于 DNN 深度 L 存在一种惊人的人类依赖性。上述结果最初是在两种分布类型下未训练的 DNN 中获得的，然后通过考虑重尾分布在训练中出现的 DNN 进行了验证。