关于随机坐标下降法中的最优概率
机器学习
2013-10-15 v1 分布式、并行与集群计算
最优化与控制
摘要
我们提出并分析了一种新的并行坐标下降方法——`NSync，其中在每次迭代中并行更新坐标的随机子集，且允许非均匀地选择这些子集。我们在强凸性假设下推导了收敛速率，并评论了如何为集合分配概率以优化界限。该方法的复杂度和实际性能可比其均匀变体提高一个数量级。令人惊讶的是，每次迭代更新单个随机选择坐标的策略（具有最优概率）在理论和实践中所需的迭代次数可能少于每次迭代更新所有坐标的策略。
引用
@article{arxiv.1310.3438,
title = {On Optimal Probabilities in Stochastic Coordinate Descent Methods},
author = {Peter Richtárik and Martin Takáč},
journal= {arXiv preprint arXiv:1310.3438},
year = {2013}
}
备注
5 pages, 1 algorithm (`NSync), 2 theorems, 2 figures