加速 Polyak 步长的水平值调整
最优化与控制
2025-06-09 v3
摘要
Polyak 步长已广泛应用于非光滑凸优化的次梯度方法中。然而，该步长的计算需要最优值，而最优值通常未知。因此，通常需要对最优值进行动态估计。本文中，为保证收敛，构造了一系列水平值以依次估计最优值。这是通过开发一种决策引导过程实现的，该过程需求解一个新颖且易解的线性约束满足问题，称为“Polyak 步长违例检测器”（PSVD）。一旦检测到违例，便重新计算水平值。我们严格建立了水平值与目标函数值的收敛性。此外，借助我们的水平调整方法，每次迭代计算近似次梯度即可保证收敛。一系列具有不同特征的凸优化问题的实证测试表明了本方法相对于现有方法的实际优势。
引用
@article{arxiv.2311.18255,
title = {Accelerating Level-Value Adjustment for the Polyak Stepsize},
author = {Anbang Liu and Mikhail A. Bragin and Xi Chen and Xiaohong Guan},
journal= {arXiv preprint arXiv:2311.18255},
year = {2025}
}