量化神经网络的Hessian结构
机器学习
2025-09-23 v2 最优化与控制
机器学习
摘要
实证研究报告称，神经网络（NNs）的Hessian矩阵表现出近似块对角结构，但其理论基础仍不清楚。在这项工作中，我们揭示了所报告的Hessian结构源于两种力量的混合：一种根植于架构设计的“静态力”，以及一种由训练产生的“动态力”。然后，我们对随机初始化时的“静态力”进行了严格的理论分析。我们研究了用于具有个类别的分类任务的线性模型和单隐层网络。通过利用随机矩阵理论，我们比较了对角和非对角Hessian块的极限分布，发现当变大时，块对角结构会出现。我们的发现揭示了是近似块对角结构的主要驱动因素之一。这些结果可能为大型语言模型（LLMs）的Hessian结构提供新的见解，这些模型通常以超过的大运行。
引用
@article{arxiv.2505.02809,
title = {Towards Quantifying the Hessian Structure of Neural Networks},
author = {Zhaorui Dong and Yushun Zhang and Jianfeng Yao and Ruoyu Sun},
journal= {arXiv preprint arXiv:2505.02809},
year = {2025}
}