通过电动力学得到的神经网络收敛结果

我们研究一个深度为二的神经网络能否使用梯度下降学习另一个深度为二的神经网络。假设线性输出节点，我们表明梯度下降是否收敛到目标函数的问题等价于电动力学中的以下问题：给定 $\mathbb{R}^d$ 中 $k$ 个固定的质子，以及 $k$ 个电子，每个电子由于来自质子的吸引力和其余电子的排斥力而移动，在平衡时所有电子是否都会与质子匹配（至多差一个置换）。在标准的电力作用下，这遵循经典的 Earnshaw 定理。在我们的设定中，力由激活函数和输入分布决定。基于这一等价性，我们证明了存在一种激活函数，使得梯度下降能学习到目标网络中至少一个隐藏节点。通过迭代，我们表明梯度下降可用于一次一个节点地学习整个网络。