两分块与多分块 ADMM：收敛性的实证评估
机器学习
2019-07-11 v1 机器学习
最优化与控制
摘要
交替方向乘子法（ADMM）已成为求解凸问题的广泛使用的优化方法，尤其在常遇到大规模优化问题的数据挖掘中。ADMM 具有若干理想性质，包括将大问题分解为可处理的小子问题的能力以及易于并行化，这些在该场景下至关重要。ADMM 最常见的形式是两分块，其中两组原始变量交替更新。近年来多分块 ADMM 取得进展，其顺序更新多于两组原始变量。本文研究一个实证问题：{\em 两分块 ADMM 在求解等价问题时是否总是与顺序多分块 ADMM 相当？} 在多任务学习所涉及的优化问题背景下，通过一套全面的实验，我们惊讶地发现，在所有数据集及整个对偶步长范围内，多分块 ADMM 在优化性能上持续优于两分块 ADMM，并因此在预测性能上亦更优。我们的结果具有重要的实际意义：与其简单使用流行的两分块 ADMM，不如尝试将多分块 ADMM 应用于等价问题，可能获益颇丰。
引用
@article{arxiv.1907.04524,
title = {Two-block vs. Multi-block ADMM: An empirical evaluation of convergence},
author = {Andre Goncalves and Xiaoli Liu and Arindam Banerjee},
journal= {arXiv preprint arXiv:1907.04524},
year = {2019}
}