ReLU神经网络中的稳定未激活神经元

神经网络架构的选择决定了该神经网络可以实现哪些函数，因此研究所选架构的表达能力受到了广泛关注。在ReLU神经网络中，稳定未激活神经元的存在会降低网络的表达能力。在本文中，我们研究了当权重和偏置从对称概率分布初始化时，此类神经网络第二隐藏层中神经元被稳定未激活的概率。对于输入维度为 $n_0$ 的网络，我们证明如果第一隐藏层有 $n_0+1$ 个神经元，则该概率精确为 $\frac{2^{n_0}+1}{4^{n_0+1}}$；如果第一隐藏层有 $n_1$ 个神经元且 $n_1 \le n_0$，则该概率为 $\frac{1}{2^{n_1+1}}$。最后，针对第一隐藏层神经元数量超过 $n_0+1$ 的情况，提出了一个猜想并给出了理由。计算证据被提供以支持该猜想。