并行坐标下降法用于复合最小化:收敛性分析与误差界
最优化与控制
2015-11-23 v4
摘要
本文提出了一种随机分块坐标下降法的分布式版本,用于最小化一个部分可分的光滑凸函数与一个完全可分的非光滑凸函数之和。在光滑函数梯度满足分块 Lipschitz 连续性的假设下,证明了该方法具有次线性收敛速率。对于新引入的一类广义误差界函数,该方法获得了线性收敛速率。我们证明了这类新的广义误差界函数涵盖了全局/局部误差界函数以及光滑强凸函数。我们还表明,关于收敛速率的理论估计取决于随机选择的分块数量以及目标函数可分性的自然度量。
引用
@article{arxiv.1312.5302,
title = {Parallel coordinate descent methods for composite minimization: convergence analysis and error bounds},
author = {Ion Necoara and Dragos Clipici},
journal= {arXiv preprint arXiv:1312.5302},
year = {2015}
}
备注
43 pages, 3 figures, 1 table, October 2013, University Politehnica Bucharest