深度神经网络凸性行为的层宽相关性研究
机器学习
2020-01-15 v1 机器学习
摘要
神经网络的 Hessian 可分解为两个矩阵之和：(i) 半正定的广义高斯-牛顿矩阵 G，以及 (ii) 包含负特征值的矩阵 H。我们观察到，对于更宽的网络，用梯度下降优化最小化损失时，在训练开始和结束阶段经由正曲率曲面，而中间阶段接近零曲率。换言之，在训练过程的关键部分，宽网络的 Hessian 似乎由分量 G 主导。为解释该现象，我们证明当使用常用方法初始化时，过参数化网络的梯度近似正交于 H，从而使得损失曲面在梯度方向上严格正曲。
引用
@article{arxiv.2001.04878,
title = {On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width},
author = {Etai Littwin and Lior Wolf},
journal= {arXiv preprint arXiv:2001.04878},
year = {2020}
}