大规模深度网络Hessian矩阵的完整谱：SGD训练与样本量下的动态
机器学习
2019-06-04 v2 机器学习
摘要
我们应用现代高维数值线性代数中最先进的工具，高效近似具有数千万参数、在真实数据上训练的现代深度网络Hessian矩阵的谱。我们的结果证实了基于小规模网络的先前发现，即Hessian表现出“尖峰”行为，若干个离群值从连续的主体中分离出来。我们将Hessian分解为不同分量，并分别研究各项在训练和样本量下的动态。
引用
@article{arxiv.1811.07062,
title = {The Full Spectrum of Deepnet Hessians at Scale: Dynamics with SGD Training and Sample Size},
author = {Vardan Papyan},
journal= {arXiv preprint arXiv:1811.07062},
year = {2019}
}