一类凸优化问题中未经修改的三块 ADMM 的全局收敛性
最优化与控制
2018-01-19 v4 机器学习
机器学习
摘要
交替方向乘子法(ADMM)因其优越的实际性能已被成功应用于求解结构化凸优化问题。2-块 ADMM 的收敛性质已在文献中被广泛研究。具体而言，已证明 2-块 ADMM 对任意惩罚参数 γ > 0 全局收敛。从这个意义上说，2-块 ADMM 允许参数自由，即在实现该算法以确保收敛时不需要限制参数的值。然而，对于 3-块 ADMM，Chen 等人最近构造了一个反例，表明在没有进一步条件的情况下它可能发散。研究 3-块 ADMM 收敛性的进一步充分条件的现有结果通常要求 γ 小于某个界，这个界通常难以计算或太小而无法使其成为实用算法。在本文中，我们证明如果目标函数中的第三个函数 f₃ 是光滑且强凸的，并且其条件数在 [1, 1.0798) 中，则 3-块 ADMM 对任意惩罚参数 γ > 0 仍然全局收敛，此外还有一些其他温和条件。这一要求涵盖了一类被称为正则化最小二乘分解(RLSD)的重要问题。
引用
@article{arxiv.1505.04252,
title = {Global Convergence of Unmodified 3-Block ADMM for a Class of Convex Minimization Problems},
author = {Tianyi Lin and Shiqian Ma and Shuzhong Zhang},
journal= {arXiv preprint arXiv:1505.04252},
year = {2018}
}