梯度局部Lipschitz连续下凸优化的自适应邻近算法
最优化与控制
2024-03-14 v4 机器学习
摘要
回溯线搜索是最小化具有局部Lipschitz梯度之连续可微函数的默认方法。近年来已表明，在凸设定下可完全避免线搜索，并允许步长基于局部光滑性估计自适应调整，而无需任何回溯或函数值评估。本工作中我们提出一种自适应邻近梯度法adaPG，其使用新颖的局部光滑模估计，导致较不保守的步长更新，并且可额外应对非光滑项。该思想被推广到原始-对偶设定，其中提出了一种自适应三项原始-对偶算法adaPD，可视为PDHG方法的扩展。此外，在此设定下提出了“本质上”全自适应的变体adaPD，其通过调用回溯流程避免了线性算子范数的评估，值得注意的是，该流程不需要额外的梯度评估。数值仿真证明了所提算法相较于最先进方法的的有效性。
引用
@article{arxiv.2301.04431,
title = {Adaptive proximal algorithms for convex optimization under local Lipschitz continuity of the gradient},
author = {Puya Latafat and Andreas Themelis and Lorenzo Stella and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:2301.04431},
year = {2024}
}