面向联邦学习中个体客户端影响的理解
机器学习
2021-04-14 v3 分布式、并行与集群计算
摘要
联邦学习允许移动客户端在不将私有数据发送至中心服务器的情况下联合训练全局模型。大量工作研究了全局模型的性能保证，然而每个个体客户端如何影响协作训练过程仍不清楚。本文中，我们定义了一种称为{\em Fed-Influence}的新概念，以量化该客户端对模型参数的影响，并提出了一种有效且高效的算法来估计这一指标。具体而言，我们的设计满足若干理想性质：(1) 它既不需要重训练也不需要重追踪，仅给客户端与服务器增加线性计算开销；(2) 它严格维护联邦学习的原则，不泄露任何客户端的本地私有数据；(3) 它在凸与非凸损失函数上均表现良好，且不要求最终模型最优。在合成数据集与 FEMNIST 数据集上的实证结果表明，我们的估计方法能以较小偏差逼近 Fed-Influence。进一步，我们展示了 Fed-Influence 在模型调试中的一个应用。
引用
@article{arxiv.2012.10936,
title = {Toward Understanding the Influence of Individual Clients in Federated Learning},
author = {Yihao Xue and Chaoyue Niu and Zhenzhe Zheng and Shaojie Tang and Chengfei Lv and Fan Wu and Guihai Chen},
journal= {arXiv preprint arXiv:2012.10936},
year = {2021}
}
备注
Accepted at AAAI 2021