FedEx：通过重叠和参与者选择加速异构移动设备上的联邦学习
分布式、并行与集群计算
2025-05-21 v3 机器学习
摘要
训练延迟是众多由联邦学习 (FL) 驱动的感兴趣应用成功的关键因素，这些应用在异构移动设备上。通过在本地梯度传输与持续本地计算之间进行创造性的重叠，FL 可以显著降低在均质客户端上的训练延迟，但在异构环境中会遇到严重的模型滞后、模型漂移、内存成本和迟缓问题。为了充分发挥重叠的潜力，我们提出了一种名为 FedEx 的新型联邦学习方法，以加速移动设备上的 FL 训练，考虑数据、计算和无线异构性。FedEx 通过滞后上限重新定义了重叠程序，以约束内存消耗并使重叠与参与者选择 (PS) 设计兼容。然后，FedEx 通过考虑重叠所减少的延迟来 characterize PS 效用函数，并提供了综合性的 PS 解决方案以解决迟缓问题。FedEx 还引入了一个简单而有效的指标来触发重叠，以避免模型漂移。实验结果表明，与其对等设计相比，FedEx 在内存成本受限的异构移动设备上显著降低了 FL 训练延迟。
引用
@article{arxiv.2407.00943,
title = {FedEx: Expediting Federated Learning over Heterogeneous Mobile Devices by Overlapping and Participant Selection},
author = {Jiaxiang Geng and Boyu Li and Xiaoqi Qin and Yixuan Li and Liang Li and Yanzhao Hou and Miao Pan},
journal= {arXiv preprint arXiv:2407.00943},
year = {2025}
}
备注
17 pages, 10 figures, Published in Transactions on Mobile Computing