梯度博弈：缓解联邦学习中的无关客户端
机器学习
2021-10-26 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习 (FL) 范式处理多个客户端在中央服务器协调下参与机器学习模型协作训练的问题。在此设置中，每个客户端的数据对其自身私有，且不可转移给其他客户端或服务器。尽管 FL 范式近期受到研究界显著关注，但针对中央服务器学习目标选择相关客户端的问题尚待充分探索。我们将这些问题称为联邦相关客户端选择 (FRCS)。由于服务器无法显式控制各客户端所拥有数据的性质，在 FL 设置中选择相关客户端的问题极为复杂。本文中，我们解决了重要且相关的 FRCS 问题，即：选择拥有相关数据的客户端、检测拥有与特定目标标签相关数据的客户端、以及纠正各客户端的损坏数据样本。我们采用原则性方法处理上述 FRCS 问题，并基于合作博弈论中的 Shapley 值概念开发了新联邦学习方法。为此，我们提出了一个涉及客户端所共享梯度的合作博弈。利用该博弈，我们计算客户端的 Shapley 值，随后给出基于 Shapley 值的联邦平均 (S-FedAvg) 算法，使服务器能以高概率选择相关客户端。S-FedAvg 在设计解决 FRCS 问题的特定算法中至关重要。我们最终在图像分类与语音识别任务上进行了详尽实证分析，表明在监督联邦学习设置下 S-FedAvg 优于基线方法。
引用
@article{arxiv.2110.12257,
title = {Game of Gradients: Mitigating Irrelevant Clients in Federated Learning},
author = {Lokesh Nagalapatti and Ramasuri Narayanam},
journal= {arXiv preprint arXiv:2110.12257},
year = {2021}
}
备注
Accepted at AAAI-21