通过梯度协调解决异构联邦学习中的非IID问题
机器学习
2024-03-08 v2 人工智能
摘要
联邦学习（FL）是一种从分散客户端协作训练全局模型的隐私保护范式。然而，FL的性能受到非独立同分布（non-IID）数据与设备异构性的阻碍。在本工作中，我们通过服务器端梯度冲突的视角重新审视这一关键挑战。具体而言，我们首先考察了多个客户端间的梯度冲突现象，并揭示更强的异构性会导致更严重的梯度冲突。为解决此问题，我们提出 FedGH，一种通过梯度协调（Gradient Harmonization）缓解本地漂移的简单而有效的方法。该技术在冲突的客户端对中将一个梯度向量投影到另一个梯度向量的正交平面上。大量实验表明，FedGH 在不同基准和非IID场景下持续增强多个最先进的FL基线。值得注意的是，FedGH 在异构性更强的场景中带来更显著的改进。作为即插即用模块，FedGH 可无缝集成到任何FL框架中，无需超参数调优。
引用
@article{arxiv.2309.06692,
title = {Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization},
author = {Xinyu Zhang and Weiyu Sun and Ying Chen},
journal= {arXiv preprint arXiv:2309.06692},
year = {2024}
}