异步联邦学习中数据异构性下的延迟影响分析

联邦学习 (Federated Learning, FL) 为在边缘设备上协调多个客户端共同训练机器学习模型提供了新方法，为边缘智能带来了高效范式。尽管具有巨大潜力，FL 在实际应用中仍面临诸多关键挑战，包括边缘设备上的数据异构性以及通信与计算约束导致的延迟。本文考察了在数据异构性背景下的异步联邦学习 (Asynchronous Federated Learning, AFL) 系统中，未知延迟来源对训练性能的影响。首先提出了基于异步误差定义的分析框架，在传统同步联邦学习 (Synchronous Federated Learning, SFL) 框架下进行了数据异构性 solely 不利影响的理论分析。进一步讨论了基于延迟梯度的异步更新方案 (Asynchronous Updates with Delayed Gradients, AUDG)。研究发现，数据异构性的负面影响与延迟呈相关性，而特定客户端的较短平均延迟并不一定能显著提升训练性能。为弥补 AUDG 不适用的场景，本文提出了伪同步更新方案 (Pseudo-synchronous Updates by Reusing Delayed Gradients, PSURDG)，并对其收敛性进行理论分析。在 AUDG 与 PSURDG 中，每轮迭代仅有随机部分客户端成功将更新结果传输至中心服务器，两者的关键区别在于是否复用延迟信息。最后通过理论分析与仿真实验验证了两种方案，直观表明：因时间延迟导致抛弃过时信息并非始终是最佳策略。