DYNAFED：以全局动力学应对客户端数据异构性
机器学习
2022-11-22 v1 人工智能
摘要
联邦学习（FL）范式在异构客户端数据下面临诸多挑战已是众所周知。在非独立同分布（non-iid）数据上的本地训练会导致偏转的局部最优，使得客户端模型彼此偏离更远，并降低聚合全局模型的性能。一种自然的解决方案是将所有客户端数据汇集到服务器上，使服务器具备整体数据分布的全局视野。遗憾的是，这退化为常规训练，会损害客户端隐私并与 FL 的初衷相悖。本文提出一种在不妨碍数据隐私的前提下，在服务器上收集并利用全局知识的思路。我们从全局模型轨迹的动力学中发掘此类知识。具体而言，我们首先在服务器上保留一段全局模型快照的短轨迹。然后，我们合成一个小型伪数据集，使得在其上训练的模型能模拟保留的全局模型轨迹的动力学。之后，合成数据被用于帮助将偏转的客户端聚合进全局模型。我们将该方法命名为 Dynafed，其具有以下优势：1）不依赖任何外部服务器端数据集，无需额外数据收集成本；2）伪数据可在早期通信轮次合成，使 Dynafed 能尽早生效以加速收敛并稳定训练；3）伪数据只需合成一次，便可直接在服务器上用于后续轮次的聚合辅助。我们跨多个广泛基准进行了实验以展示 Dynafed 的有效性，并提供了对方法底层机制的见解与理解。
引用
@article{arxiv.2211.10878,
title = {DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics},
author = {Renjie Pi and Weizhong Zhang and Yueqi Xie and Jiahui Gao and Xiaoyu Wang and Sunghun Kim and Qifeng Chen},
journal= {arXiv preprint arXiv:2211.10878},
year = {2022}
}