高维优化中时变 Hessian 的作用

梯度下降常用于在粗糙的 landscapes 中寻找最小值，尤其是在最近的机器学习应用中。然而，关于为何能找到好解的理论理解仍然含糊，特别是在强非凸和高维情境下。本文聚焦于相位检索问题作为典型案例，该问题在理论机器学习中受到广泛关注。我们分析了梯度下降期间的 Hessian，识别出其谱特性中的动力学转变，并将其与在 loss landscape 中逃离粗糙区域的能力相关联。在信噪比 (SNR) 足够大时，Hessian 在下降初期（即初始条件）存在一条信息性的负方向。尽管如此，在下降过程中，Hessian 谱中会发生 BBP 转变：该方向丢失，动力学被困在一个充满准稳定差异最小值 的粗糙区域。令人惊讶的是，对于有限系统大小，负曲率的这段窗口允许系统在理论上找到无限规模 SNR 之前就能较好地恢复信号，这突显了初始化和早期动力学在高效遍历粗糙 landscapes 中的核心作用。