缓解宽神经网络中病态尖锐性的归一化方法
机器学习
2019-10-29 v2 无序系统与神经网络
机器学习
摘要
归一化方法在提升深度学习性能方面发挥着重要作用，而其理论理解却很有限。为从理论上阐明归一化的有效性，我们量化了由Fisher信息矩阵（FIM）确定的参数空间几何，这在某些条件下也对应于损失景观的局部形状。我们分析了随机初始化的深度神经网络，已知当网络足够宽时会遭受景观的病态尖锐形状。我们揭示，若宽度与样本数满足特定条件，最后一层的批归一化可显著减小此类病态尖锐性。相反，在许多设定下，中间隐藏层的批归一化难以缓解病态尖锐性。我们还发现层归一化也无法缓解病态尖锐性。因此，我们可以得出结论：最后一层的批归一化对降低由FIM引起的尖锐性有显著贡献。
引用
@article{arxiv.1906.02926,
title = {The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks},
author = {Ryo Karakida and Shotaro Akaho and Shun-ichi Amari},
journal= {arXiv preprint arXiv:1906.02926},
year = {2019}
}
备注
To appear in NeurIPS 2019