联邦学习的期望最大化视角
机器学习
2021-11-22 v1 机器学习
摘要
联邦学习描述了跨多个客户端分布式训练模型的同时将数据保留在设备本地的过程。在这项工作中,我们将服务器编排的联邦学习过程视为一个分层潜变量模型,其中服务器提供关于客户端特定模型参数的先验分布的参数。我们表明,使用简单的高斯先验和著名的期望最大化(EM)算法的硬版本,在此类模型中学习对应于FedAvg——联邦学习设置中最流行的算法。这种对FedAvg的视角统一了该领域最近的若干工作,并通过为分层模型选择不同的设定打开了扩展的可能性。基于该视角,我们进一步提出了一种采用先验分布以促进稀疏性的分层模型变体。通过类似地使用硬EM算法进行学习,我们获得了FedSparse,一种能在联邦学习设置中学习稀疏神经网络的方法。FedSparse降低了从客户端到服务器以及反向的通信成本,以及使用稀疏化网络进行推理的计算成本——这两者在实际联邦学习中都极为重要。
引用
@article{arxiv.2111.10192,
title = {An Expectation-Maximization Perspective on Federated Learning},
author = {Christos Louizos and Matthias Reisser and Joseph Soriaga and Max Welling},
journal= {arXiv preprint arXiv:2111.10192},
year = {2021}
}