凸情形下具有迭代收敛保证的快速增广拉格朗日方法
最优化与控制
2022-08-03 v3
摘要
本工作旨在最小化线性等式约束下具有 Lipschitz 连续梯度的连续可微凸函数。所提出的惯性算法源于 Bot 与 Nguyen 在 [Bot, Nguyen, JDE, 2021] 中讨论的带渐近消失阻尼项的二阶原始对偶动力系统的离散化,并以该最小化问题相关的增广拉格朗日量表述。我们所考虑的惯性参数一般设定涵盖了文献中用于构造快速梯度方法的 Nesterov、Chambolle-Dossal 与 Attouch-Cabot 三种经典规则。对于这些规则,我们在凸情形下获得了原始对偶间隙、可行性度量与目标函数值的 阶收敛速率。此外,我们证明了在涵盖后两种规则的一般设定下,所生成的原始对偶迭代序列收敛到原始对偶解。这是首个在无需强凸性等额外假设的条件下,为线性约束凸优化问题的快速算法所生成的迭代序列提供收敛性的结果。我们还需强调,本文所有收敛结果均与 [Bot, Nguyen, JDE, 2021] 在连续情形下所得结果相容。
引用
@article{arxiv.2111.09370,
title = {Fast Augmented Lagrangian Method in the convex regime with convergence guarantees for the iterates},
author = {Radu Ioan Bot and Ernö Robert Csetnek and Dang-Khoa Nguyen},
journal= {arXiv preprint arXiv:2111.09370},
year = {2022}
}
备注
37 pages