自适应原-对偶混合梯度法与交替方向乘子法
最优化与控制
2024-10-04 v1 机器学习
机器学习
摘要
线搜索程序在原-对偶方法中常用于双线性鞍点问题，尤其当线性算子范数较大或难以计算时。本文通过引入一种新型原-对偶方法——自适应条件原-对偶混合梯度法（AC-PDHG），展示了线搜索是不必要的，该方法可为求解双线性鞍点问题提供最优复杂度。AC-PDHG对线性算子完全自适应，仅依赖历史迭代来估计其范数。我们进一步将AC-PDHG针对线性约束问题进行优化，提供了关于最优间隙和约束违规的收敛保证。此外，我们探讨了一类重要的线性约束问题，其中目标函数与约束可分解为两个部分。通过将AC-PDHG的设计原则引入预条件交替方向乘子法（ADMM），我们提出了自适应条件交替方向乘子法（AC-ADMM），其仅依赖约束矩阵的一部分即可保证收敛，完全自适应于该部分，无需线搜索。最后，我们将两种方法扩展到求解具有额外光滑项的双线性问题。通过将这些方法与一种新型加速方案集成，在单oracle设置下，我们实现了最优的迭代复杂度。
引用
@article{arxiv.2410.01979,
title = {Auto-conditioned primal-dual hybrid gradient method and alternating direction method of multipliers},
author = {Guanghui Lan and Tianjiao Li},
journal= {arXiv preprint arXiv:2410.01979},
year = {2024}
}