一般假设下低随机噪声的分散式SGD加速
最优化与控制
2021-06-15 v3 计算复杂性
摘要
分布式优化方法正受到优化界的积极研究。由于分布式机器学习中的应用，现代研究方向包括随机目标、降低通信频率以及时变通信网络拓扑。近期，Koloskova 等人 (2020) 提出了一种统一多种集中式与分散式随机分布式优化方法的分析框架。在本工作中，我们采用 Catalyst 框架，并在低随机噪声情形下加速了 Koloskova 等人 (2020) 的收敛速率。
引用
@article{arxiv.2011.07585,
title = {An acceleration of decentralized SGD under general assumptions with low stochastic noise},
author = {Trimbach Ekaterina and Rogozin Alexander},
journal= {arXiv preprint arXiv:2011.07585},
year = {2021}
}
备注
MOTOR 2021 conference