关于交替方向乘子法的线性收敛性
最优化与控制
2013-03-27 v3 统计理论
统计理论
摘要
我们分析了交替方向乘子法 (ADMM) 在最小化受线性约束的两个或多个非光滑凸可分函数之和时的收敛速率。以往对 ADMM 的分析通常假设目标函数仅是定义在两个可分变量块上的两个凸函数之和，尽管该算法在三个或更多块的数值实验中表现良好。此外，此前尚无针对目标函数缺乏强凸性时 ADMM 的收敛速率分析。在本文中，我们建立了 ADMM 最小化任意数量凸可分函数之和的全局线性收敛性。这一结果解决了关于当块数多于两个或缺乏强凸性时 ADMM 收敛性的关键问题。它还意味着 ADMM 在包括 LASSO、Group LASSO 和 Sparse Group LASSO 在内的几种现代应用中具有线性收敛性，且无需任何强凸性假设。我们的证明基于通过特定近端残差的范数估计对偶可行解到最优对偶解集的距离，并要求对偶步长足够小。
引用
@article{arxiv.1208.3922,
title = {On the Linear Convergence of the Alternating Direction Method of Multipliers},
author = {Mingyi Hong and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:1208.3922},
year = {2013}
}