半循环随机梯度下降
机器学习
2019-04-24 v1 机器学习
摘要
我们考虑具有块循环结构的凸SGD更新，即每个循环由少量块组成，每个块包含来自可能不同的、块特定分布的众多样本。这种情况出现在例如联邦学习（Federated Learning）中，一天中不同时间可用于更新的移动设备具有不同特征。我们表明，这种块循环结构会显著恶化SGD的性能，但提出了一种简单方法，使得预测具有与i.i.d.、非循环采样相同的性能保证。
引用
@article{arxiv.1904.10120,
title = {Semi-Cyclic Stochastic Gradient Descent},
author = {Hubert Eichner and Tomer Koren and H. Brendan McMahan and Nathan Srebro and Kunal Talwar},
journal= {arXiv preprint arXiv:1904.10120},
year = {2019}
}