基于球面视角看待带归一化层的学习
机器学习
2022-05-20 v3 机器学习
摘要
归一化层(NLs)在现代深度学习架构中被广泛使用。尽管其看似简单,其对优化的影响尚未被完全理解。本文引入一个球面框架,从几何视角研究带NLs的神经网络优化。具体而言,参数组(如卷积神经网络的滤波器)的径向不变性,允许将优化步骤转化到单位超球面上。该表述及相关的几何解释为训练动态提供了新的认识。首先,推导了Adam的第一个有效学习率表达式。随后,由该框架得出:在存在NLs时,仅执行随机梯度下降(SGD)实际上等价于约束在单位超球面上的Adam变体。最后,该分析勾勒出以往Adam变体所作用的若干现象,并通过实验验证了它们在优化过程中的重要性。
引用
@article{arxiv.2006.13382,
title = {Spherical Perspective on Learning with Normalization Layers},
author = {Simon Roburin and Yann de Mont-Marin and Andrei Bursuc and Renaud Marlet and Patrick Pérez and Mathieu Aubry},
journal= {arXiv preprint arXiv:2006.13382},
year = {2022}
}