带Nesterov外推的加速线性化交替方向乘子法
最优化与控制
2024-05-13 v2
摘要
交替方向乘子法（ADMM）在求解可分凸优化问题中得到了广泛应用。本文通过采用Nesterov外推技术，提出了两类加速线性化ADMM，用于求解两分块线性约束可分凸优化问题，其中目标函数的每一分块具有“非光滑”+“光滑”的复合结构。我们提出的加速线性化ADMM将两类经典的针对无约束复合优化问题的Nesterov加速方法推广至线性约束问题。在目标函数的一个分块具有强凸性且光滑项梯度Lipschitz连续的条件下，这些方法能够达到的非遍历收敛速率。我们表明所提方法可退化为用于求解单分块线性约束凸优化问题的加速线性化增广拉格朗日法（ALM）。通过选取不同的外推参数，我们探讨了所提方法与若干已有加速方法之间的关系。数值结果验证了所提算法的有效性与可靠性。
引用
@article{arxiv.2310.16404,
title = {Accelerated linearized alternating direction method of multipliers with Nesterov extrapolation},
author = {X. He and N. J. Huang and Y. P. Fang},
journal= {arXiv preprint arXiv:2310.16404},
year = {2024}
}