在联邦学习中局部恢复全局数据分布

联邦学习是一种分布式机器学习范式，允许多个客户端协作训练共享模型而无需共享原始数据。然而，联邦学习中的一个主要挑战是标签不平衡，即客户端可能仅拥有某些特定类别，同时存在大量少数类和缺失类。以往的工作侧重于优化局部更新或全局聚合，但忽略了客户端间潜在的标签分布不平衡。本文提出一种新方法 ReGL 来应对这一挑战，其核心思想是局部恢复全局数据分布。具体而言，每个客户端使用生成模型合成图像以补充少数类和缺失类，从而缓解标签不平衡。此外，我们利用局部真实数据自适应地微调图像生成过程，使合成图像更紧密地贴合全局分布。重要的是，生成和微调过程均在客户端进行，不会泄露数据隐私。通过在多种图像分类数据集上的全面实验，我们证明了该方法在从根本上解决联邦学习中标签不平衡问题方面，显著优于现有的 SOTA 工作。