Wolkowicz-Styan 上界：交叉熵损失下神经网络 Hessian 特征谱

神经网络（NN）是现代机器学习的核心，已在众多应用中实现最先进的结果。然而，损失几何与泛化之间的关系仍不为人所理解。损失函数在临界点附近的局部几何可通过二次型（由二阶Taylor展开得到）进行良好近似。二次项的系数对应于Hessian矩阵，其特征谱允许我们评估损失在临界点的锋利程度。大量研究表明，平坦的临界点具有更好的泛化性能，而锋利的临界点则导致更高的泛化误差。然而，锋利性需要Hessian特征谱，但一般矩阵特征方程无闭式解。因此，大多数现有研究评估损失锋利性依赖于数值近似方法。现有的特征谱闭式分析主要局限于简化架构，如线性或ReLU激活网络；因此，对光滑非线性多层神经网络的理论分析仍有限。针对上述背景，本研究聚焦于非线性光滑多层神经网络，推导了针对交叉熵损失下Hessian最大特征值的闭式上界，通过利用Wolkowicz-Styan上界实现。具体而言，所推导的上界可表示为仿射变换参数、隐藏层维度以及训练样本正交性程度的函数。本文的主要贡献在于通过闭式表达式对光滑非线性多层神经网络的损失锋利性进行分析性表述，避免了显式的数值特征谱计算。我们希望本工作为破解深度学习之谜提供一小步但有意义的进展。