论深度学习中的幂律 Hessian 谱

众所周知，深度损失景观的 Hessian 对深度学习的优化、泛化乃至鲁棒性都有重要影响。近期工作经实证发现，深度学习中的 Hessian 谱具有双组分结构，由少量大特征值和大量近零特征值组成。然而，Hessian 谱背后的理论机制或数学原理仍很大程度上未被探索。据我们所知，我们首次证明了训练良好的深度神经网络的 Hessian 谱呈现简单的幂律结构。受统计物理理论及天然蛋白质谱分析的启发，我们给出了最大熵理论解释，说明幂律结构为何存在，并提出了蛋白质演化与深度神经网络训练之间的谱类比。通过大量实验，我们进一步将幂律谱框架作为有用工具，探索深度学习的多种新颖行为。