重访批归一化：来自优化视角的新理解及基于复合优化的改进
最优化与控制
2018-10-16 v1 机器学习
摘要
批归一化（BN）已广泛应用于深度学习中，以实现更快的训练过程和更好的最终模型。然而，BN是否有效强烈依赖于训练期间批次的构造方式，并且若批次上的统计量不接近整个数据集上的统计量，它可能不会收敛到期望的解。在本文中，我们通过构建激发BN的优化问题，尝试从优化视角理解BN。我们通过分析该优化问题说明了BN何时有效以及何时无效。随后，我们提出一种基于复合优化技术的BN改进方法，称为全归一化（FN），以缓解当批次构造不理想时BN的问题。我们给出了FN的收敛性分析，并经验性地研究了其改进BN的有效性。
引用
@article{arxiv.1810.06177,
title = {Revisit Batch Normalization: New Understanding from an Optimization View and a Refinement via Composition Optimization},
author = {Xiangru Lian and Ji Liu},
journal= {arXiv preprint arXiv:1810.06177},
year = {2018}
}