GAS：生成式激活辅助的异步分层联邦学习
机器学习
2024-12-17 v2 分布式、并行与集群计算
摘要
分层联邦学习(SFL)在客户端和服务器之间分割并协同时训练共享模型，其中客户端传输激活和客户端-side模型以进行更新。最近的SFL研究假设来自客户端的激活和客户端-side模型是同步传输的。然而，由于客户端在计算和通信能力上的显著差异，激活和客户端-side模型以异步方式到达服务器。由于异步性质引起的延迟显著降低SFL的性能。为解决此问题，我们考虑一种异步SFL框架，其中在服务器上嵌入激活缓冲区和模型缓冲区来管理异步传输的激活和客户端-side模型。此外，由于异步激活传输导致服务器频繁接收来自资源丰富客户端的激活，从而导致服务器-side模型的偏差更新，我们提出了基于生成式激活辅助的异步SFL(GAS)。在GAS中，服务器维护每个标签基于接收到的激活的激活分布，并根据偏差程度从这些分布中生成激活。这些生成式激活然后用于辅助更新服务器-side模型，确保更准确的更新。我们推导了更紧的收敛界限，我们的实验表明所提出方法有效。代码可在https://github.com/eejiarong/GAS获取。
引用
@article{arxiv.2409.01251,
title = {GAS: Generative Activation-Aided Asynchronous Split Federated Learning},
author = {Jiarong Yang and Yuan Liu},
journal= {arXiv preprint arXiv:2409.01251},
year = {2024}
}
备注
AAAI 2025 accepted paper