谁畏惧糟糕的大极小值？尖峰矩阵-张量模型中的梯度流分析

基于梯度的算法对许多机器学习任务十分有效，但尽管近期有大量努力和一些进展，人们往往仍不清楚为何它们能在实践中优化高维非凸函数，以及为何能找到好的极小值而非陷入伪极小值。本文提出了一个定量理论，在尖峰矩阵-张量模型中解释这一行为。我们的框架基于平稳点的 Kac-Rice 分析以及源自统计物理的梯度流闭式分析。我们表明，在定义良好的参数区域内，尽管存在指数级多的伪局部极小值，梯度流算法仍能找到好的全局极小值。我们证明，这是通过借助具有指向全局极小值的强负方向的鞍点实现的，这一现象与描述景观临界点的 Hessian 中的 BBP 型阈值相关。