批归一化的平均场分析
机器学习
2019-03-08 v1 无序系统与神经网络
机器学习
摘要
批归一化（BatchNorm）是现代神经网络架构中极为有用的组件，它使得优化可使用更高学习率并实现更快收敛。本文中，我们使用平均场理论解析地量化 BatchNorm 对由全连接层和卷积层构成的多层网络损失景观几何的影响。我们表明它对损失景观具有平坦化效应，这由费雪信息矩阵的最大特征值所量化。这些发现随后被用于论证对使用 BatchNorm 的网络采用更大学习率的合理性，并且我们提供了为确保收敛所能允许的最大学习率的定量刻画。实验支持我们理论预测的最大学习率，并进一步表明具有较小 BatchNorm 参数值的网络在相同的训练轮数后达到更低的损失。
引用
@article{arxiv.1903.02606,
title = {Mean-field Analysis of Batch Normalization},
author = {Mingwei Wei and James Stokes and David J Schwab},
journal= {arXiv preprint arXiv:1903.02606},
year = {2019}
}