通过极大化极小化方法的统一交替方向乘子法
数值分析
2016-07-12 v1
摘要
随着压缩感知的日益普及，交替方向乘子法(ADMM)已成为求解具有可分离目标的线性约束凸问题最广泛使用的求解器。在本工作中，我们观察到许多先前的ADMM变体通过最小化不同的优函数来更新原始变量，其收敛性证明是逐个给出的。受极大化极小化原理启发，我们分别给出了Gauss-Seidel ADMM和Jacobian ADMM的统一框架和收敛性分析，它们在当前更新中使用不同的历史信息。我们的框架进一步将先前的ADMM推广到能够通过最小化其可分离优代理来求解具有不可分离目标的问题的能力。我们还表明，衡量ADMM收敛速度的界取决于所用优函数的紧性。然后引入了几种技术，通过收紧优函数来提高ADMM的效率。特别地，我们提出了混合Gauss-Seidel和Jacobian ADMM (M-ADMM)，它通过吸收Gauss-Seidel ADMM的优点来缓解Jacobian ADMM的缓慢收敛问题。M-ADMM可以通过使用回溯、明智的变量划分和充分利用约束结构来进一步改进。除了理论上的保证，在合成数据和真实数据上的数值实验进一步证明了我们的新ADMM在实践中的优越性。最后，我们在https://github.com/canyilu/LibADMM发布了一个工具箱，为压缩感知中的许多问题实现了高效的ADMM。
引用
@article{arxiv.1607.02584,
title = {A Unified Alternating Direction Method of Multipliers by Majorization Minimization},
author = {Canyi Lu and Jiashi Feng and Shuicheng Yan and Zhouchen Lin},
journal= {arXiv preprint arXiv:1607.02584},
year = {2016}
}