FedSAE：异构系统中一种新颖的自适应联邦学习框架
机器学习
2024-04-16 v1 分布式、并行与集群计算
摘要
联邦学习（Federated Learning, FL）是一种新颖的分布式机器学习方法，它允许数千个边缘设备在本地训练模型而无需将数据集中上传至服务器。但由于真实的联邦环境资源受限，FL面临着系统异构性，这直接造成了大量掉队者（straggler），并间接导致准确率显著下降。为解决系统异构性所引起的问题，我们引入了一种新颖的自适应联邦框架FedSAE，其自动调整设备的训练任务并主动选择参与者以缓解性能退化。在本工作中，我们 1）提出FedSAE，其利用设备历史训练任务的完整信息来预测每个设备可承受的训练工作量。由此，FedSAE可估计每个设备的可靠性，并自适应地调整每轮中每个客户端的训练负载量。2）将我们的框架与主动学习（Active Learning）结合以自适应地选择参与者。随后该框架加速了全局模型的收敛。在我们的框架中，服务器基于设备的训练损失评估其训练价值，然后选择那些对全局模型价值更大的客户端以减少通信开销。实验结果表明，在高度异构系统中，FedSAE比原始FL框架FedAvg收敛更快。此外，FedSAE在多个联邦数据集上优于FedAvg——FedSAE平均将测试准确率提升26.7%，并将掉队者减少90.3%。
引用
@article{arxiv.2104.07515,
title = {FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems},
author = {Li Li and Moming Duan and Duo Liu and Yu Zhang and Ao Ren and Xianzhang Chen and Yujuan Tan and Chengliang Wang},
journal= {arXiv preprint arXiv:2104.07515},
year = {2024}
}
备注
This paper will be presented at IJCNN 2021