破缺遍历性与涨落耗散定理的违反导致机器学习中超越过拟合的泛化

现代神经网络非凡的泛化能力随着网络容量的增加而提高，即使当模型参数或有效自由度的数量超过训练数据点的数量时也是如此。这一现象更加令人惊讶，因为当模型参数数量从下方接近临界值时，泛化误差会发散。在这里，我们使用动力学平均场理论来表明，这种所谓的“双重下降”行为是描述训练过程的随机场理论中相变的结果。我们计算了双重下降相变的临界指数和标度函数，并表明其标志是与破缺遍历性相关的涨落耗散定理的失效。相应的响应函数与超导转变的简单伦敦模型具有相同的函数形式，其中波函数的刚性对应于神经网络准确泛化的能力。