理解归一化层的泛化益处：锐度降低
机器学习
2023-01-18 v3 人工智能
摘要
归一化层（如批归一化、层归一化）的引入是为了帮助解决极深网络中的优化困难，但它们显然也有助于泛化，即便在不太深的网络中也是如此。受“更平坦的最小值带来更好泛化”这一长期信念的驱动，本文给出数学分析和支撑实验，表明归一化（连同伴随的权重衰减）促使梯度下降（GD）降低损失曲面的锐度。此处“锐度”是在损失具有尺度不变性（归一化的已知结果）的前提下被仔细定义的。具体而言，对于一类相当广泛的带归一化的神经网络，我们的理论解释了具有有限学习率的GD如何进入所谓的稳定性边缘（EoS）机制，并通过连续的锐度降低流刻画了该机制下GD的轨迹。
引用
@article{arxiv.2206.07085,
title = {Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction},
author = {Kaifeng Lyu and Zhiyuan Li and Sanjeev Arora},
journal= {arXiv preprint arXiv:2206.07085},
year = {2023}
}
备注
76 pages, many figures; NeurIPS 2022 camera-ready version; fixes minor typos