批归一化如何助力优化？
机器学习
2019-04-16 v5 机器学习
神经与进化计算
摘要
批归一化（BatchNorm）是一种被广泛采用的技术，可使深度神经网络（DNNs）的训练更快且更稳定。尽管其无处不在，但 BatchNorm 有效的确切原因仍知之甚少。普遍观点认为，这种有效性源于在训练期间控制各层输入分布的变化，以减少所谓的“内部协变量偏移”。在本工作中，我们证明层输入的分布稳定性与 BatchNorm 的成功关系不大。相反，我们揭示了 BatchNorm 对训练过程更根本的影响：它使优化景观显著平滑。这种平滑性带来了更具预测性且更稳定的梯度行为，从而实现更快的训练。
引用
@article{arxiv.1805.11604,
title = {How Does Batch Normalization Help Optimization?},
author = {Shibani Santurkar and Dimitris Tsipras and Andrew Ilyas and Aleksander Madry},
journal= {arXiv preprint arXiv:1805.11604},
year = {2019}
}
备注
In NeurIPS'18