缓解异步联邦学习中参与不平衡偏差
机器学习
2025-11-25 v1 人工智能
摘要
在异步联邦学习 (AFL) 中，中心服务器立即使用每个到达的客户端贡献更新全局模型。因此，客户端在不同的模型版本上进行本地训练，导致信息滞后 (延迟)。在非独立同分布 (non-IID) 的本地数据分布下的联邦环境中，这种异步模式放大了客户端异构性（由于不同的数据分布、局部目标等）的不利影响，因为更快的客户端贡献更多更新，偏向全局模型。我们称这种现象为异构性放大。我们的工作提供了理论分析，将AFL设计选择映射到异构性放大发生时的错误来源。基于我们的分析，我们提出了ACE (All-Client Engagement AFL)，通过使用来自所有客户端最新信息的即时、非缓冲更新来缓解参与不平衡。我们还引入了延迟感知变体ACED，在更新滞后与客户端多样性之间进行权衡。实验在不同模型、不同任务、多样化的异构性和延迟设置下验证了我们的分析，展示了我们方法的鲁棒性能。
引用
@article{arxiv.2511.19066,
title = {Mitigating Participation Imbalance Bias in Asynchronous Federated Learning},
author = {Xiangyu Chang and Manyi Yao and Srikanth V. Krishnamurthy and Christian R. Shelton and Anirban Chakraborty and Ananthram Swami and Samet Oymak and Amit Roy-Chowdhury},
journal= {arXiv preprint arXiv:2511.19066},
year = {2025}
}