Shapley 值是否公平？改进联邦学习中特立独行客户端的选取
机器学习
2021-06-22 v1 人工智能
计算机与社会
摘要
Shapley 值常被用于度量和激励联邦学习中的客户端参与。本文通过理论和仿真表明，Shapley 值低估了一类常见客户端的贡献：特立独行者 (Maverick)。特立独行者在数据分布和数据量上均与众不同，且可能是某些类型数据的唯一拥有者。在恰当的时刻选取恰当的客户端对联邦学习缩短收敛时间、提升精度十分重要。我们提出 FedEMD，一种基于局部与全局数据分布间 Wasserstein 距离的自适应客户端选择策略。由于 FedEMD 调整选择概率，使得当模型受益于稀有类别上的改进时优先选取特立独行者，它持续确保在存在不同类型特立独行者时快速收敛。与包括基于 Shapley 值的策略在内的现有策略相比，对于 FedAvg 聚合，FedEMD 将神经网络分类器的收敛性至少提升了 26.9%，优于当前最优方法。
引用
@article{arxiv.2106.10734,
title = {Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning},
author = {Jiyue Huang and Chi Hong and Lydia Y. Chen and Stefanie Roos},
journal= {arXiv preprint arXiv:2106.10734},
year = {2021}
}