批归一化对梯度下降影响的定量分析
机器学习
2019-05-10 v2 机器学习
摘要
尽管批归一化（BN）在经验上取得成功且近期在理论上有所进展， generally 缺乏对 BN 对梯度下降收敛性与稳定性影响的定量分析。本文中，我们对普通最小二乘（OLS）这一简单问题提供此类分析。由于梯度下降（GD）在 OLS 问题上的精确动力学性质完全已知，这使得我们能够隔离并比较 BN 带来的额外影响。更确切地说，我们表明与 GD 不同，带 BN 的梯度下降（BNGD）对任意权重学习率均收敛，且在温和条件下收敛保持线性。此外，我们量化了 BNGD 相对 GD 的两种不同加速来源——其一源于过参数化改善了有效条件数，其二源于存在大范围学习率导致快速下降。这些现象使 BNGD 有别于 GD，并可能解释其诸多鲁棒性性质。这些发现通过数值实验得到定量证实，实验进一步表明在 OLS 中揭示的许多 BNGD 性质在更复杂监督学习问题中在定性上亦被观察到。
引用
@article{arxiv.1810.00122,
title = {A Quantitative Analysis of the Effect of Batch Normalization on Gradient Descent},
author = {Yongqiang Cai and Qianxiao Li and Zuowei Shen},
journal= {arXiv preprint arXiv:1810.00122},
year = {2019}
}