DRAG：非独立同分布数据联邦学习中基于散度的自适应聚合
机器学习
2023-09-06 v1 信息论
math.IT
摘要
局部随机梯度下降（SGD）通过允许各工作节点执行局部更新，是联邦学习（FL）中实现通信效率的基本方法。然而，工作节点间异构的数据分布导致每个节点将其局部模型更新至局部最优，引发所谓“客户端漂移”（client-drift）现象，并造成收敛变慢。为解决此问题，已有工作探索的方法要么引入通信开销，要么性能不稳定。本文中，我们引入称为“散度程度”的新度量，量化局部梯度与全局参考方向之间的夹角。利用该度量，我们提出基于散度的自适应聚合（DRAG）算法，该算法在每轮动态地将接收到的局部更新“拖拽”向参考方向，且无需额外通信开销。此外，我们为DRAG建立了严格的收敛分析，证明其能达到次线性收敛速率。实验结果表明，相比最先进算法，DRAG在有效管理客户端漂移现象方面具有更优性能。此外，DRAG对特定拜占庭攻击表现出显著韧性。通过安全地将客户端少量数据共享给FL服务器，DRAG有效抵御这些攻击，如综合实验所证。
引用
@article{arxiv.2309.01779,
title = {DRAG: Divergence-based Adaptive Aggregation in Federated learning on Non-IID Data},
author = {Feng Zhu and Jingjing Zhang and Shengyun Liu and Xin Wang},
journal= {arXiv preprint arXiv:2309.01779},
year = {2023}
}