面向联邦学习的梯度掩蔽平均
机器学习
2023-11-16 v2 人工智能
摘要
联邦学习(FL)是一种新兴范式,允许多个具有异构数据的客户端在不相互共享数据的情况下协调学习统一的全局模型。联邦学习中的一个主要挑战是客户端间数据的异构性,这会 degrading 标准FL算法的性能。标准FL算法涉及在服务器端对模型参数或梯度更新进行平均以近似全局模型。然而,我们认为在异构设置中,平均会导致信息损失,并因主导客户端梯度引入的偏差而导致泛化能力差。我们假设,为了在非独立同分布(non-i.i.d)数据集上更好地泛化,算法应专注于学习恒定的不变机制,同时忽略跨客户端不同的伪机制。受分布外泛化(Out-of-Distribution generalization)近期工作的启发,我们提出一种用于FL的梯度掩蔽平均方法,作为标准客户端更新平均的替代方案。这种客户端更新的聚合技术可作为即插即用替换适配于大多数现有联邦算法。我们在多个FL算法上进行了大量实验,涵盖同分布、真实世界、特征偏移的分布外以及数量不平衡数据集,结果表明其带来了一致的改进,尤其在异构客户端情况下。
引用
@article{arxiv.2201.11986,
title = {Gradient Masked Averaging for Federated Learning},
author = {Irene Tenison and Sai Aravind Sreeramadas and Vaikkunth Mugunthan and Edouard Oyallon and Irina Rish and Eugene Belilovsky},
journal= {arXiv preprint arXiv:2201.11986},
year = {2023}
}