非对称谷：超越尖锐与平坦的局部极小
机器学习
2019-04-09 v2 机器学习
摘要
尽管损失函数非凸，深度神经网络在用随机梯度下降（SGD）优化时已知泛化良好。近期工作猜想，配置恰当的 SGD 能够找到宽而平坦的局部极小，后者被假定与良好泛化性能相关。本文中，我们观察到现代深度网络的局部极小不止于平坦或尖锐。具体而言，在局部极小处存在许多非对称方向，使得损失沿一侧急剧上升，而沿相反一侧缓慢上升——我们正式将此类极小定义为非对称谷。在温和假设下，我们证明对于非对称谷，偏向平坦一侧的解比精确极小化器泛化更好。进一步，我们展示简单地对 SGD 轨迹上的权重取平均会隐式产生此类偏置解。这为 Izmailov 等人（2018）观察到的有趣现象提供了理论解释。此外，我们经验性地发现批归一化（BN）似乎是非对称谷的主要成因。
引用
@article{arxiv.1902.00744,
title = {Asymmetric Valleys: Beyond Sharp and Flat Local Minima},
author = {Haowei He and Gao Huang and Yang Yuan},
journal= {arXiv preprint arXiv:1902.00744},
year = {2019}
}
备注
submitted to ICML 2019