在多极性-罗亚斯维茨不等式下，波拉克重心法实现加速局部收敛率
最优化与控制
2026-02-03 v2 机器学习
摘要
本工作分析了在连续和离散时间下，对满足多极性-罗亚斯维茨不等式的非凸C^4阶目标函数上的波拉克重心法的收敛性。在这种弱假设下，我们恢复了波拉克在[Polyak, U.S.S.R. Comput. Math. and Math. Phys., 1964]中对强凸目标函数所获得的渐近收敛率。我们的结果表明，重心法在这类函数上 exhibits 渐近局部加速。在离散时间设置下，我们证明了一旦该方法进入到极小小邻域中，迭代值就能收敛到最小值，该邻域覆盖了广泛的超参数，包括对动量参数和步长的激进选择，对于全局收敛已知会失败。与通常采用的李亚普诺夫类型论证方法不同，我们的方法利用了[Rebjock and Boumal, Math. Program., 2025]提出的波拉克-罗亚斯维茨不等式的一种新的微分几何视角。
引用
@article{arxiv.2410.16849,
title = {Polyak's Heavy Ball Method Achieves Accelerated Local Rate of Convergence under Polyak-Lojasiewicz Inequality},
author = {Sebastian Kassing and Simon Weissmann},
journal= {arXiv preprint arXiv:2410.16849},
year = {2026}
}