AFBS：半异步联邦学习中的缓冲梯度选择
机器学习
2025-06-24 v2 人工智能
摘要
异步联邦学习（AFL）通过消除等待慢节点的需求来加速训练，但其异步特性引入了梯度陈旧性问题，其中过时的梯度会降低性能。现有解决方案通过梯度缓冲来解决此问题，形成半异步框架。然而，当缓冲中积累大量陈旧梯度时，该方法难以应对，因为盲目聚合所有梯度可能损害训练。为解决此问题，我们提出 AFBS（异步联邦学习缓冲选择），这是首个在缓冲中执行梯度选择同时确保隐私保护的算法。具体而言，客户端在训练前发送随机投影加密标签分布矩阵，服务器基于此进行客户端聚类。在训练过程中，服务器根据每个聚类的信息价值对梯度进行评分和选择，丢弃低价值梯度以增强半异步联邦学习。在高度异构的系统和数据环境中的大量实验证明了 AFBS 相比最先进方法的优越性能。特别是在最具挑战性的任务 CIFAR-100 上，AFBS 将准确率相比前一最佳算法提升了最多 4.8%，并将达到目标准确率的时间减少了 75%。
引用
@article{arxiv.2506.12754,
title = {AFBS:Buffer Gradient Selection in Semi-asynchronous Federated Learning},
author = {Chaoyi Lu and Yiding Sun and Jinqian Chen and Zhichuan Yang and Jiangming Pan and Jihua Zhu},
journal= {arXiv preprint arXiv:2506.12754},
year = {2025}
}