通过曲率校准扰动逃逸鞍点:完整分析与显式常数及实证验证
机器学习
2025-08-25 v1 最优化与控制
机器学习
摘要
我们对一阶方法进行全面理论分析,以解决光滑非凸优化中严格鞍点的逃逸问题。我们的主要贡献是提出一种扰动鞍点逃逸梯度下降算法(Perturbed Saddle-escape Descent, PSD),并给出完全显式的常数,严格区分梯度下降阶段与鞍点逃逸阶段。对于函数 具有 -Lipschitz 梯度和 -Lipschitz Hessian, 我们证明 PSD 以高概率找到 -近似二阶稳态点,仅需对下降阶段最多进行 次梯度计算,逃逸每个阶段最多需 次评估,且至多需要 个逃逸 episode。我们通过在合成函数和实际机器学习任务上的大量实验验证了理论预测,确认了对维数的对数依赖性以及每个逃逸 episode 中函数减小的预测效果。我们还提供了完整的算法规范,包括一种有限差分变种(PSD-Probe)以及具备鲁棒小批量大小的随机扩展(PSGD)。
引用
@article{arxiv.2508.16540,
title = {Escaping Saddle Points via Curvature-Calibrated Perturbations: A Complete Analysis with Explicit Constants and Empirical Validation},
author = {Faruk Alpay and Hamdi Alakkad},
journal= {arXiv preprint arXiv:2508.16540},
year = {2025}
}
备注
16 pages. Perturbed gradient descent with fully explicit constants for escaping saddle points, validated empirically