两层神经网络模型梯度下降动力学的淬灭-激活行为
机器学习
2020-06-26 v1 最优化与控制
机器学习
摘要
当目标函数可由相对较少的神经元精确逼近时，我们对用于训练两层神经网络模型的梯度下降（GD）算法在不同参数区间下进行了数值与现象学研究。研究发现，对于类 Xavier 初始化，在欠参数化区间中 GD 的动态行为存在两个明显阶段：早期阶段 GD 动力学紧密跟随相应随机特征模型且神经元被有效淬灭；随后的晚期阶段神经元分为两组：少数主导动力学的“激活”神经元，以及支撑持续激活与失活过程的背景（或“淬灭”）神经元。这种类神经网络行为延续到轻度过参数化区间，并在那里经历向类随机特征行为的转变。淬灭-激活过程似乎为“隐式正则化”提供了清晰的机制。这与“平均场”缩放相关的动力学有质的不同，在平均场缩放下所有神经元平等参与，且改变网络参数时似乎没有出现质性变化。
引用
@article{arxiv.2006.14450,
title = {The Quenching-Activation Behavior of the Gradient Descent Dynamics for Two-layer Neural Network Models},
author = {Chao Ma and Lei Wu and Weinan E},
journal= {arXiv preprint arXiv:2006.14450},
year = {2020}
}
备注
23 pages