球面运动动力学：具有归一化、权重衰减与SGD的神经网络学习动态
机器学习
2020-11-30 v4 计算机视觉与模式识别
机器学习
摘要
在本工作中，我们全面揭示了具有归一化、权重衰减（WD）和SGD（带动量）的神经网络的学习动态，称之为球面运动动力学（Spherical Motion Dynamics, SMD）。大多数相关工作通过关注“平衡”条件下的“有效学习率”来研究SMD，其中权重范数保持不变。然而，他们关于SMD中为何能达到平衡条件的讨论要么缺失，要么缺乏说服力。我们的工作通过直接探究平衡条件的成因来研究SMD。具体而言，1）我们引入了能在SMD中导致平衡条件的假设，并证明在给定的假设下权重范数能以线性速率收敛；2）我们提出“角度更新（angular update）”作为有效学习率的替代指标，用以衡量SMD中神经网络的演化，并证明角度更新也能以线性速率收敛到其理论值；3）我们在包括ImageNet和MSCOCO在内的各种计算机视觉任务上以标准设置验证了我们的假设和理论结果。实验结果表明我们的理论发现与经验观测吻合良好。
引用
@article{arxiv.2006.08419,
title = {Spherical Motion Dynamics: Learning Dynamics of Neural Network with Normalization, Weight Decay, and SGD},
author = {Ruosi Wan and Zhanxing Zhu and Xiangyu Zhang and Jian Sun},
journal= {arXiv preprint arXiv:2006.08419},
year = {2020}
}
备注
Theoretical analysis on joint effect of normalization and weight decay