神经网络 Hessian 映射结构与秩的解析洞察
机器学习
2021-07-02 v2 神经与进化计算
统计理论
机器学习
统计理论
摘要
神经网络的 Hessian 通过损失函数的二阶导数捕捉参数交互。它是一个基本研究对象，与深度学习中的各类问题密切相关，包括模型设计、优化与泛化。多数先前工作为经验性的，通常聚焦于对网络结构盲目的低秩近似与启发式方法。相反，我们发展理论工具来分析 Hessian 映射的值域，从而精确理解其秩缺失及背后的结构性原因。这给出了深度线性网络 Hessian 秩的精确公式与紧上界，并允许以秩缺失的方式作优雅解释。此外，我们证明对于更大一类模型（如修正线性单元与双曲正切网络），我们的界作为数值 Hessian 秩的估计依然可靠。进一步，我们也探究模型架构（如宽度、深度、偏置）对秩缺失的影响。总体而言，我们的工作为过参数化网络中的冗余来源与程度提供了新颖洞察。
引用
@article{arxiv.2106.16225,
title = {Analytic Insights into Structure and Rank of Neural Network Hessian Maps},
author = {Sidak Pal Singh and Gregor Bachmann and Thomas Hofmann},
journal= {arXiv preprint arXiv:2106.16225},
year = {2021}
}