对称性、平坦极小点与梯度流的守恒量

对深度网络损失曲面的实证研究表明，许多局部极小点通过低损失谷相互连接。然而，关于此类山谷的理论起源所知甚少。我们提出一个用于寻找参数空间中连续对称性的一般框架，这些对称性刻画出了低损失谷。我们的框架利用激活函数的等变性，可应用于不同的层架构。为将该框架推广到非线性神经网络，我们引入了一组新颖的非线性、数据相关对称性。这些对称性能够变换一个已训练模型，使其在新生样本上表现相似，从而允许构建集成以提升在某些对抗攻击下的鲁棒性。接着我们证明，与线性对称性相关的守恒量可用于定义沿低损失谷的坐标。这些守恒量有助于揭示：使用常见的初始化方法时，梯度流仅探索了全局极小点的一小部分。通过将守恒量与收敛速率及极小点锐度相关联，我们提供了关于初始化如何影响收敛性与泛化能力的见解。