关于应用于 ADMM 的 Anderson 加速的渐近线性收敛速度
最优化与控制
2020-12-01 v3 机器学习
数值分析
数值分析
摘要
实证结果表明，当 ADMM 本身线性收敛时，Anderson 加速（AA）可成为改善交替方向乘子法（ADMM）渐近线性收敛速度的有力机制。然而，量化这一改善的理论结果尚不存在。在本文中，我们针对应用于 ADMM 的平稳版 AA 这一特殊情况，解释并量化了其在线性渐近收敛速度上的改善。我们通过考察 ADMM 与平稳版 AA 在不动点处的雅可比矩阵的光谱性质来实现这一点，其中平稳 AA 方法的系数经计算使其渐近线性收敛因子最优。基于先前关于最优平稳 AA 加速的工作，该平稳 AA-ADMM 方法的最优线性收敛因子通过解析或优化计算得出。利用这一光谱图像与那些解析结果，我们的方法为平稳 AA 方法如何以及能在多大程度上改善 ADMM 的渐近线性收敛因子提供了新的见解。数值结果还表明，平稳 AA 方法的最优线性收敛因子为实际使用的非平稳 AA 方法的渐近线性收敛速度提供了一个有用的估计。
引用
@article{arxiv.2007.02916,
title = {On the Asymptotic Linear Convergence Speed of Anderson Acceleration Applied to ADMM},
author = {Dawei Wang and Yunhui He and Hans De Sterck},
journal= {arXiv preprint arXiv:2007.02916},
year = {2020}
}