全局与局部模型混合的联邦学习
机器学习
2021-02-15 v3 分布式、并行与集群计算
最优化与控制
机器学习
摘要
我们提出了一种用于训练联邦学习模型的新优化公式。标准公式采用经验风险最小化问题的形式，旨在从存储于所有参与设备上的私有数据中找到单一的全局模型。相比之下，我们的公式在传统全局模型与局部模型之间寻求显式权衡，其中局部模型可由每个设备从其自身私有数据中无需任何通信地学习得到。此外，我们开发了 SGD 的几种高效变体（含与不含部分参与、含与不含方差缩减）来求解新公式，并给出了通信复杂度保证。值得注意的是，我们的方法类似于但不等同于联邦平均／局部 SGD，从而在一定程度上阐明了局部步长在联邦学习中的作用。特别地，我们首次 i) 表明局部步长可改善异构数据问题的通信，以及 ii) 指出个性化可带来更低的通信复杂度。
引用
@article{arxiv.2002.05516,
title = {Federated Learning of a Mixture of Global and Local Models},
author = {Filip Hanzely and Peter Richtárik},
journal= {arXiv preprint arXiv:2002.05516},
year = {2021}
}
备注
40 pages, 8 algorithms, 6 figures, 1 table (minor changes compared to the previous versions)