鞍点补救：变量消除在非凸优化中的威力
机器学习
2025-11-04 v1 机器学习
摘要
鞍点的扩散，而不是糟糕的局部极小值，越来越被认为是机器学习中大规模非凸优化的主要障碍。变量消除算法，如变量投影（VarPro），长期以来在实践中被观察到具有优越的收敛性和鲁棒性，但对于它们为何能如此有效地穿越这些复杂的能量景观，仍缺乏原则性的理解。在这项工作中，我们通过比较原始公式和简化公式的优化景观，提供了一个严格的几何解释。通过基于Hessian惯量和舒尔补的严格分析，我们证明了变量消除从根本上重塑了目标函数的临界点结构，揭示了简化景观中的局部极大值是由原始公式中的鞍点产生并与之直接对应的。我们的发现在非凸矩阵分解的经典问题上得到了说明，在双参数神经网络上得到了直接可视化，并最终在训练深度残差网络时得到了验证，我们的方法在稳定性和收敛到更优极小值方面取得了显著改进。这项工作不仅仅是解释一种现有方法；它通过鞍点变换建立景观简化作为一个强大的原则，可以指导设计新一代更鲁棒、更高效的优化算法。
引用
@article{arxiv.2511.01234,
title = {A Saddle Point Remedy: Power of Variable Elimination in Non-convex Optimization},
author = {Min Gan and Guang-Yong Chen and Yang Yi and Lin Yang},
journal= {arXiv preprint arXiv:2511.01234},
year = {2025}
}