具有可证明固定时间收敛性与快速逃逸非退化鞍点的广义梯度流
机器学习
2023-10-24 v2 人工智能
系统与控制
系统与控制
最优化与控制
机器学习
摘要
基于梯度的一阶凸优化算法在包括机器学习任务在内的多种领域中具有广泛适用性。受连续时间动力系统固定时间稳定性理论近期进展的启发，我们引入了一个广义框架，用于设计具有最强收敛保证的加速优化算法，该保证进一步扩展到一类非凸函数。具体而言，我们提出了 GenFlow 算法及其动量变体，可证明在固定时间内收敛到满足 Polyak-Łojasiewicz (PL) 不等式的目标函数的最优解。此外，对于具有非退化鞍点的函数，我们证明所提出的 GenFlow 算法逃离这些鞍点所需的时间对所有初始条件均有统一上界。最后，对于最优解为鞍点的强凸-强凹极小极大问题，我们证明类似的方案同样能在固定时间内到达最优解。我们算法优越的收敛性质在多种基准数据集上得到了实验验证。
引用
@article{arxiv.2212.03765,
title = {Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points},
author = {Mayank Baranwal and Param Budhraja and Vishal Raj and Ashish R. Hota},
journal= {arXiv preprint arXiv:2212.03765},
year = {2023}
}
备注
Accepted to Transactions on Automatic Control (TAC)