用于带二次耦合项的不可分凸最小化模型的扩展ADMM与BCD：收敛分析与见解
最优化与控制
2017-03-16 v4
摘要
本文中，我们建立了近端交替方向乘子法（ADMM）与块坐标下降（BCD）对于具有二次耦合项的不可分最小化模型的收敛性。本文给出的新颖收敛结果回答了几个备受讨论的开放问题。我们首先将2-block近端ADMM扩展至具有耦合二次目标函数的线性约束凸优化——该领域目前缺乏理论理解——并证明由近端ADMM生成的序列以点态方式收敛到一对原对偶解。此外，我们将随机排列ADMM（RPADMM）应用于不可分多块凸优化，并证明其对一类不可分二次规划问题的期望收敛性。当线性约束消失时，2-block近端ADMM与RPADMM分别退化为2-block循环近端BCD方法与随机排列BCD（RPBCD）。我们的研究给出了首个2-block循环近端BCD的迭代收敛结果，且无需假设迭代序列的有界性。我们还从理论上建立了关于凸二次优化的多块RPBCD的期望迭代收敛结果。此外，我们证明对于2-block凸二次最小化问题，RPBCD可能具有比循环近端BCD更差的收敛速率。尽管关于RPADMM与RPBCD的结果仅限于二次最小化模型，它们提供了一些有趣的见解：1) 随机排列使ADMM与BCD对于多块凸最小化问题更为鲁棒；2) 循环BCD对于“良好”问题可能优于RPBCD，因此在求解一般凸优化问题时应当谨慎应用RPBCD。
引用
@article{arxiv.1508.00193,
title = {Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights},
author = {Caihua Chen and Min Li and Xin Liu and Yinyu Ye},
journal= {arXiv preprint arXiv:1508.00193},
year = {2017}
}