双层ReLU网络的种群梯度解析公式及其在收敛性与临界点分析中的应用

在本文中，我们探讨了在中心化$d$维球面高斯输入$\mathbf{x}$（$\sigma$=ReLU）下训练双层ReLU网络$g(\mathbf{x}; \mathbf{w}) = \sum_{j=1}^K \sigma(\mathbf{w}_j^T\mathbf{x})$的理论性质。我们通过关于$\mathbf{w}$的梯度下降来训练网络，以模仿具有相同架构和固定参数$\mathbf{w}^*$的教师网络输出。我们证明了其种群梯度具有解析公式，从而可对临界点和收敛行为进行深入理论分析。首先，我们证明位于教师参数所张成的超平面之外的临界点（“面外”）不是孤立的，而是形成流形，并刻画了双ReLU情况下的面内无临界点区域。另一方面，若权重以标准差上界为$O(\epsilon/\sqrt{d})$随机初始化（与经验实践一致），则对于单个ReLU节点，以至少$(1-\epsilon)/2$的概率保证收敛到$\mathbf{w}^*$。对于具有多个ReLU节点的网络，我们证明权重初始化的无穷小扰动会导致向$\mathbf{w}^*$（或其置换）收敛，这一现象在物理学中称为自发对称性破缺(SSB)。我们假设ReLU激活之间不独立。仿真验证了我们的发现。