何时信任聚合梯度：解决联邦学习中的负向客户端采样问题
机器学习
2023-01-26 v1 人工智能
密码学与安全
摘要
联邦学习已成为一种广泛使用的框架，可在保护本地数据隐私的条件下，基于分散的本地数据集学习全局模型。然而，当训练样本非独立同分布（non-i.i.d.）时，联邦学习面临严重的优化困难。本文指出，客户端采样实践在上述优化困难中起决定性作用。我们发现负向客户端采样会导致当前采样客户端的合并数据分布与所有可用客户端的分布严重不一致，并进一步使聚合梯度不可靠。为解决此问题，我们提出一种新颖的学习率自适应机制，根据当前采样客户端的合并数据分布与所有可用客户端分布之间的一致性，对每轮聚合梯度自适应调整服务器学习率。具体而言，我们通过理论推导找到一个有意义且鲁棒的指标，该指标与最优服务器学习率正相关并能有效反映采样客户端的合并数据分布，并将其用于服务器学习率自适应。在多个图像与文本分类任务上的大量实验验证了我们方法的显著有效性。
引用
@article{arxiv.2301.10400,
title = {When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning},
author = {Wenkai Yang and Yankai Lin and Guangxiang Zhao and Peng Li and Jie Zhou and Xu Sun},
journal= {arXiv preprint arXiv:2301.10400},
year = {2023}
}