加速交替方向乘子法：一种最优的 O(1/K) 非遍历分析
数值分析
2018-12-13 v5
摘要
交替方向乘子法（ADMM）广泛应用于线性约束凸问题。已证明其具有 o(1/√K) 的非遍历收敛速率，以及经过遍历平均后更快的 O(1/K) 遍历速率，但遍历平均可能会破坏稀疏与低秩学习中的稀疏性和低秩性，其中 K 为迭代次数。本文中，我们修改了 [Y. Ouyang, Y. Chen, G. Lan, and E. Pasiliao, An Accelerated Linearized Alternating Direction Method of Multipliers, SIAM J. on Imaging Sciences, 2015, 1588-1623] 中提出的加速 ADMM，并给出了 O(1/K) 的非遍历收敛速率分析，满足 |F(x^K)-F(x^*)| ≤ O(1/K)，‖Ax^K-b‖ ≤ O(1/K)，且 x^K 比遍历结果具有更优的稀疏性和低秩性。据我们所知，这是首个针对一般线性约束凸问题的 O(1/K) 非遍历收敛 ADMM 类方法。此外，我们证明了 ADMM 类方法对于可分离线性约束非光滑凸问题的复杂度下界为 O(1/K)，这意味着我们的方法是最优的。
引用
@article{arxiv.1608.06366,
title = {Accelerated Alternating Direction Method of Multipliers: an Optimal $O(1/K)$ Nonergodic Analysis},
author = {Huan Li and Zhouchen Lin},
journal= {arXiv preprint arXiv:1608.06366},
year = {2018}
}