深度探究深度神经网络的 Hessian 特征谱及其在正则化中的应用
机器学习
2020-12-09 v2
摘要
损失景观分析对于深入理解深度神经网络模型的泛化能力极为有用。在本工作中，我们提出了一种逐层损失景观分析，独立研究每一层的损失曲面，并研究各层与整体损失曲面的相关性。我们通过研究每一层 Hessian 的特征谱来考察逐层损失景观。具体而言，我们的结果表明，逐层 Hessian 几何结构与整个 Hessian 大体相似。我们还报告了一个有趣的现象：观察到深度神经网络中间层的 Hessian 特征谱与整体 Hessian 特征谱最为相似。我们还表明，随着网络训练的进行，Hessian 的最大特征值与迹（包括全网络与逐层）均减小。我们利用这些观察结果，提出了一种基于逐层 Hessian 迹的新正则化器。惩罚每一层 Hessian 的迹间接迫使随机梯度下降收敛到更平坦的极小值，而后者被证明具有更好的泛化性能。特别地，我们表明这种逐层正则化器可仅用于惩罚最中间层，从而取得有前景的结果。我们在跨数据集的知名深度网络上的实证研究支持了本工作的论断。
引用
@article{arxiv.2012.03801,
title = {A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization},
author = {Adepu Ravi Sankar and Yash Khasbage and Rahul Vigneswaran and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:2012.03801},
year = {2020}
}
备注
Accepted at AAAI 2021