LASG：用于通信高效分布式学习的惰性聚合随机梯度
最优化与控制
2020-02-27 v1 机器学习
机器学习
摘要
本文旨在以通信高效的方式解决分布式机器学习问题（如联邦学习）。我们发展了一类新的随机梯度下降（SGD）方法，可视为近期提出的惰性聚合梯度（LAG）方法的随机化推广——由此得名LASG。LAG自适应预测每轮通信的贡献并仅选择显著者执行，在节省通信的同时保持收敛速率。然而，LAG仅适用于确定性梯度，将其用于随机梯度会导致性能不佳。LASG的核心是针对随机梯度定制的一组新规则，可用于节省下载、上传或二者兼有的通信。新算法自适应地在新鲜与陈旧随机梯度间选择，并具有与原SGD相当的收敛速率。LASG取得了令人印象深刻的实证性能——通常将一个数量级的总通信量。
引用
@article{arxiv.2002.11360,
title = {LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning},
author = {Tianyi Chen and Yuejiao Sun and Wotao Yin},
journal= {arXiv preprint arXiv:2002.11360},
year = {2020}
}