通过猜测更新提升资源受限联邦学习系统
机器学习
2025-06-17 v3 分布式、并行与集群计算
摘要
联邦学习（FL）使一组客户端设备能够在不共享原始数据的情况下协同训练模型。然而，该过程在边缘设备受限的计算与通信资源下运行。这些约束与系统异构性一起，迫使部分参与客户端执行比服务器预期更少的本地更新，从而减缓收敛。此外，FL 中超参数的穷举调优可能耗费大量资源，而不进行调优则会对收敛产生不利影响。在本工作中，我们提出 GEL，即猜测与学习算法。GEL 使受限边缘设备能够在基于梯度的步骤之外，通过猜测更新执行额外的学习。这些猜测是无梯度的，即参与客户端可免费利用它们。我们的通用猜测算法（i）可灵活地与包括 FEDPROX、FEDNOVA、FEDYOGI 或 SCALEFL 在内的若干最先进算法结合；且（ii）在学习率未最佳调优时取得显著改进的性能。我们进行了大量实验，表明 GEL 在资源受限网络中可将经验收敛提升多达 40%，同时减轻对穷举学习率调优的需求。
引用
@article{arxiv.2110.11486,
title = {Boosting Resource-Constrained Federated Learning Systems with Guessed Updates},
author = {Mohamed Yassine Boukhari and Akash Dhasade and Anne-Marie Kermarrec and Rafael Pires and Othmane Safsafi and Rishi Sharma},
journal= {arXiv preprint arXiv:2110.11486},
year = {2025}
}
备注
18 pages, 12 figures