联邦学习与元学习中的收敛性与精度权衡
机器学习
2021-03-10 v1 分布式、并行与集群计算
最优化与控制
机器学习
摘要
我们研究一类我们称之为局部更新方法的算法，它推广了许多联邦学习与元学习算法。我们证明，对于二次模型，局部更新方法等价于我们在精确刻画的一个代理损失上的一阶优化。此外，基本的算法选择（如学习率）显式地控制着代理损失的条件数与其和真实损失对齐程度之间的权衡。我们推导出了展示这些权衡的新收敛速率，并强调了它们在通信受限环境中的重要性。利用这些见解，我们能够根据局部更新方法的收敛/精度权衡而非仅仅其对经验损失临界点的收敛来比较它们。我们的结果对广泛的现象给出了新的认识，包括联邦学习中服务器动量的有效性以及近端客户端更新的影响。
引用
@article{arxiv.2103.05032,
title = {Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning},
author = {Zachary Charles and Jakub Konečný},
journal= {arXiv preprint arXiv:2103.05032},
year = {2021}
}