中文

多块可分凸最小化中 ADMM 直接扩展的收敛性分析

最优化与控制 2016-11-15 v2

摘要

近年来,交替方向乘子法(ADMM)在各个领域获得了许多高效的应用;并且已有研究表明,当将其直接扩展到目标函数中存在 m3m\ge 3 个无耦合变量的可分凸最小化问题的多块情形时,无法保证其收敛性。这一事实极大地推动了人们去研究模型与算法参数上的各种条件,以确保 ADMM 直接扩展(缩写为“e-ADMM”)的收敛性。尽管在非常强的条件下(例如,至少 (m1)(m-1) 个函数必须是强凸的)得到了一些适用于一般 mm 的通用情形的结果,另一些研究则集中在 m=3m=3 的特殊情形,在仅假设一个函数为强凸的相对温和条件下进行探讨。我们重点将收敛性分析从 m=3m=3 的情形扩展到更一般的 m3m\ge3 情形。也就是说,我们证明了在仅假设 (m2)(m-2) 个函数为强凸的条件下,m3m\ge 3 情形下 e-ADMM 的收敛性;并建立了其在不同场景下的收敛速率,例如以迭代复杂度衡量的最坏情况收敛速率,以及在更强假设下的渐近线性收敛速率。从而证明了对于一般 m4m\ge 4 情形 e-ADMM 的收敛性;尽管从已知的 m=3m=3 情形的结果来看这是直观的,但这一结果似乎仍是未知的。即使对于 m=3m=3 的特殊情形,我们的收敛结果也比专门针对 m=3m=3 情形推导的现有结果更为一般。

关键词

引用

@article{arxiv.1609.07221,
  title  = {Convergence analysis of the direct extension of ADMM for multiple-block separable convex minimization},
  author = {Min Tao and Xiaoming Yuan},
  journal= {arXiv preprint arXiv:1609.07221},
  year   = {2016}
}

备注

29 pages