用 Hessian 方向可视化高维损失景观

分析高维损失函数的几何性质（如局部曲率及在损失空间中某点附近其他最优点的存在性）有助于更好地理解神经网络结构、实现属性与学习性能之间的相互作用。本文结合高维概率与微分几何概念，研究低维损失表示中的曲率性质如何依赖于原始损失空间中的相应性质。我们证明，若使用随机投影，原始空间中的鞍点在期望低维表示中很少被正确识别为鞍点。期望低维表示中的主曲率与原始损失空间中的平均曲率成正比。因此，原始损失空间中的平均曲率决定了鞍点平均而言表现为极小值、极大值还是近乎平坦区域。我们利用随机投影中的期望曲率与原始空间中的平均曲率（即归一化 Hessian 迹）之间的联系，在不像原始 Hutchinson 方法那样计算 Hessian-向量积的情况下给出 Hutchinson 型迹估计。由于随机投影不适合正确识别鞍点信息，我们提出研究沿与最大和最小主曲率相关的主导 Hessian 方向的投影。我们将发现联系到关于损失景观平坦度与泛化能力的持续争论。最后，对于不同的常见图像分类器与一个函数逼近器，我们展示并比较了具有多达约 $7\times 10^6$ 个参数的损失景观的随机投影与 Hessian 投影。