迈向更高效的随机去中心化学习：更快收敛与稀疏通信
机器学习
2018-05-28 v1 机器学习
摘要
最近，去中心化优化问题正受到越来越多的关注。现有的大多数方法是确定性的，单次迭代成本高，且收敛率二次依赖于问题的条件数。此外，即使数据集是稀疏的，密集通信也是确保收敛所必需的。在本文中，我们将去中心化优化问题推广为单调算子寻根问题，并提出了一种名为 DSBA 的随机算法，该算法 (i) 几何收敛，收敛率线性依赖于问题的条件数，并且 (ii) 可以仅使用稀疏通信来实现。此外，DSBA 能够处理诸如 AUC 最大化等在去中心化环境中无法高效解决的学习问题。在凸最小化和 AUC 最大化上的实验验证了我们方法的有效性。
引用
@article{arxiv.1805.09969,
title = {Towards More Efficient Stochastic Decentralized Learning: Faster Convergence and Sparse Communication},
author = {Zebang Shen and Aryan Mokhtari and Tengfei Zhou and Peilin Zhao and Hui Qian},
journal= {arXiv preprint arXiv:1805.09969},
year = {2018}
}
备注
Accepted to ICML 2018