剖析 Hessian：理解神经网络中 Hessian 的共性结构
机器学习
2022-10-24 v6 神经与进化计算
机器学习
摘要
Hessian 捕捉深度神经网络损失景观的重要性质。先前工作已观察到神经网络 Hessian 中的低秩结构。在本文中，我们提出一个解耦猜想，将网络的逐层 Hessian 分解为两个较小矩阵的 Kronecker 积。我们可以分析这些较小矩阵的性质，并证明随机 2 层网络的顶部特征空间结构。该解耦猜想还有其他若干有趣推论——不同模型的顶部特征空间具有惊人的高重叠度，并且当顶部特征向量被重塑为对应权重矩阵相同形状时形成低秩矩阵。所有这些均可在更深层网络上经经验验证。最后，我们利用逐层 Hessian 的结构为神经网络获得更好的显式泛化界。
引用
@article{arxiv.2010.04261,
title = {Dissecting Hessian: Understanding Common Structure of Hessian in Neural Networks},
author = {Yikai Wu and Xingyu Zhu and Chenwei Wu and Annie Wang and Rong Ge},
journal= {arXiv preprint arXiv:2010.04261},
year = {2022}
}
备注
72 pages, 31 figures. Main text: 10 pages, 7 figures. First two authors have equal contribution and are in alphabetical order