深度学习中的 Hessian 特征值：奇点及其超越
机器学习
2017-10-06 v2
摘要
我们考察了训练前后损失函数 Hessian 矩阵的特征值。特征值分布被视为由两部分组成：集中在零附近的体部，以及远离零散落的边缘。我们提供了经验证据，表明体部指示了系统的过参数化程度，而边缘则依赖于输入数据。
关键词
引用
@article{arxiv.1611.07476,
title = {Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond},
author = {Levent Sagun and Leon Bottou and Yann LeCun},
journal= {arXiv preprint arXiv:1611.07476},
year = {2017}
}
备注
ICLR submission, 2016 - updated to match the openreview.net version