相变揭示深度神经网络中的层次结构

训练深度神经网络依赖于模型在高维非凸损失景观中收敛到一个好的极小值。然而，训练中的许多现象学仍未被充分理解。我们关注三个看似不同的观察：类似于统计物理的相变现象、鞍点的普遍性，以及与模型合并相关的模式连通性现象。我们在单一解释框架中统一了这些框架，即损失和误差景观的几何结构。我们通过解析方法证明，DNN学习中的相变由损失景观中的鞍点所支配。基于这一洞察，我们引入了一种简单、快速且易于实现的算法，该算法使用L2正则化器作为探测误差景观几何结构的工具。我们将其应用于确认在MNIST数据集上训练的DNN中的模式连通性，通过高效地找到连接全局极小值的路径。然后我们通过数值方法证明，鞍点诱导编码不同数字类别的模型之间的转变。我们的工作建立了DNN中关键训练现象的几何起源，并揭示了与统计物理中相类比的精度盆地层次结构。