揭示 Hessian 与决策边界的关联

理解具有良好泛化性的极小值的性质是深度学习研究的核心。一方面，神经网络的泛化性已被关联到决策边界的复杂度，而这在高维输入空间中难以研究。另一方面，极小值的平坦性已成为一个有争议的泛化代理指标。在本工作中，我们提供了这两种方法之间缺失的纽带，并表明 Hessian 的顶层特征向量刻画了神经网络所学到的决策边界。值得注意的是，Hessian 谱中离群值的数量与决策边界的复杂度成正比。基于这一发现，我们提供了一种研究高维决策边界复杂度的新颖且直接的方法；表明这一联系自然地启发了一种新的泛化度量；最后，我们开发了一种新颖的边界估计技术，该技术结合泛化度量，可精确识别具有简单宽边界的极小值。总体而言，该分析建立了 Hessian 与决策边界之间的联系，并提供了一种识别具有简单宽边界决策边界的极小值的新方法。