深度神经网络中 Hessian 矩阵的负特征值
机器学习
2019-02-08 v1 最优化与控制
机器学习
摘要
深度网络的损失函数已知是非凸的，但这种非凸性的精确性质仍是一个活跃的研究领域。在本工作中，我们通过深度网络 Hessian 矩阵的特征分解来研究其损失景观。特别地，我们考察负特征值的重要程度，以及适当处理它们所能观察到的益处。
引用
@article{arxiv.1902.02366,
title = {Negative eigenvalues of the Hessian in deep neural networks},
author = {Guillaume Alain and Nicolas Le Roux and Pierre-Antoine Manzagol},
journal= {arXiv preprint arXiv:1902.02366},
year = {2019}
}