梯度掩蔽的联邦优化
机器学习
2021-04-22 v1
摘要
联邦平均（FedAVG）因其简单性和低通信开销已成为最流行的联邦学习算法。我们用简单示例表明，FedAVG 有将参与客户端之间的最优值缝合在一起的倾向。这些被缝合的最优值在用于具有新数据分布的新客户端时表现出较差的泛化能力。受（Arjovsky 等，2019；Parascandolo 等，2020）中不变性原理的启发，我们专注于学习一个在不同客户端同时局部最优的模型。我们提出对 FedAVG 算法进行修改，以包含跨客户端的掩蔽梯度（来自（Parascandolo 等，2020）的 AND-mask）并用其执行额外的服务器模型更新。我们表明，该算法比 FedAVG 取得了更好的（分布外）精度，尤其在客户端间数据非独立同分布时。
引用
@article{arxiv.2104.10322,
title = {Gradient Masked Federated Optimization},
author = {Irene Tenison and Sreya Francis and Irina Rish},
journal= {arXiv preprint arXiv:2104.10322},
year = {2021}
}