非强凸优化的重球动量法
最优化与控制
2025-01-17 v2
摘要
在考虑二次函数或强凸函数的最小化时，众所周知，涉及由时间恒定参数加权的惯性项的一阶方法特别有效（参见 Polyak [32]、Nesterov [28] 及其参考文献）。通过根据目标函数的条件数设置惯性参数，这些方法保证了误差的快速指数衰减。我们证明了这类方案（后来称为重球方案）在松弛设置下是相关的，即对于满足二次增长条件的复合函数。特别是，我们将 Beck 在 [10] 中为强凸函数引入的 V-FISTA 适配到这一更广泛的函数类。据作者所知，由此产生的最坏情况收敛速度快于文献中的任何其他方法，包括 FISTA 重启方案。无需对极小值集进行假设，并且在非最优情况下（即条件数不完全已知时）也给出了保证。这一分析遵循了对相应连续时间动力系统（带摩擦的重球系统）的研究，其中展示了轨迹的新收敛结果。
引用
@article{arxiv.2403.06930,
title = {Heavy Ball Momentum for Non-Strongly Convex Optimization},
author = {Jean-François Aujol and Charles Dossal and Hippolyte Labarrière and Aude Rondepierre},
journal= {arXiv preprint arXiv:2403.06930},
year = {2025}
}