同构与异构数据下局部 SGD 的更紧理论

Ahmed Khaled; Konstantin Mishchenko; Peter Richtárik

同构与异构数据下局部 SGD 的更紧理论

机器学习 2022-04-18 v4 分布式、并行与集群计算数值分析数值分析最优化与控制机器学习

作者: Ahmed Khaled , Konstantin Mishchenko , Peter Richtárik

摘要

我们对局部 SGD 进行了新的分析，去除了不必要的假设，并阐明了两种数据情形——同构与异构——之间的差异。在这两种情况下，我们都改进了现有理论，并给出了最优步长与最优局部迭代次数的值。我们的界基于一种针对具有不同数据的局部 SGD 方法所特有的新方差概念。当我们代入 $H=1$ （其中 $H$ 为局部步数）时，能够恢复已知结论，从而保证了我们结果的紧性。经验证据进一步验证了数据异构性对局部 SGD 性能的严重影响。

关键词

局部 SGD 数据异构性最优步长最优局部迭代次数方差分析收敛界分布式优化

引用

@article{arxiv.1909.04746,
  title  = {Tighter Theory for Local SGD on Identical and Heterogeneous Data},
  author = {Ahmed Khaled and Konstantin Mishchenko and Peter Richtárik},
  journal= {arXiv preprint arXiv:1909.04746},
  year   = {2022}
}

备注

AISTATS 2020. 31 pages, 1 algorithm, 5 theorems, 6 figures

同构与异构数据下局部 SGD 的更紧理论

摘要

关键词

引用

备注

相关论文