基于曲率自适应扰动与子空间下降用于鲁棒 saddle 点逃逸的高维优化
最优化与控制
2025-09-04 v4
摘要
工程设计、控制和学习中的高维非凸优化问题常受鞍点、平坦平台和强非各向同性曲率的阻碍。本文发展了一种统一、曲率自适应的框架,将随机扰动、自适应学习率和随机子空间下降相结合,以增强逃逸效率和可扩展性。我们在理论上证明,梯度流几乎必然避免严格鞍点,逃逸概率随维度指数级增加。对于噪声扰动的梯度下降,我们推导了明确的逃逸时间上界,其取决于局部曲率和噪声幅度。自适应步长进一步通过响应局部梯度可变性来减少逃逸时间,而随机子空间下降在低维投影中保留下降方向,并确保以维度对数依赖实现全局收敛。数值实验在非线性和受约束基准问题上验证了这些结果,表明比标准的一阶和二阶方法实现更快的逃逸、对不良条件的鲁棒性更好以及总运行时间更低。该方法为在曲率、噪声和维度相互作用至关重要的大规模工程优化任务提供了实用工具。
引用
@article{arxiv.2409.12604,
title = {Curvature-Adaptive Perturbation and Subspace Descent for Robust Saddle Point Escape in High-Dimensional Optimization},
author = {Ronald Katende and Henry Kasumba},
journal= {arXiv preprint arXiv:2409.12604},
year = {2025}
}