分布式 SAGA：在有限通信下保持线性收敛速率
最优化与控制
2017-05-31 v1 机器学习
摘要
近年来，方差缩减随机方法展现出优异的实际性能，当其他随机方法仅提供次线性收敛速率时，它们却表现出线性收敛速率。然而，随着数据集规模不断增大以及集群计算的普及，对快速分布式方法的需求日益迫切。本文提出了一种 SAGA 的分布式方案，即使在节点间通信受限的情况下，也能保持线性收敛速率。
引用
@article{arxiv.1705.10405,
title = {Distributed SAGA: Maintaining linear convergence rate with limited communication},
author = {Clément Calauzènes and Nicolas Le Roux},
journal= {arXiv preprint arXiv:1705.10405},
year = {2017}
}