AnycostFL：面向异构边缘设备的高效按需联邦学习
机器学习
2023-10-31 v1 分布式、并行与集群计算
系统与控制
系统与控制
摘要
在这项工作中，我们研究了在具有多样化资源约束的异构边缘设备上进行按需联邦学习（FL）这一具有挑战性的问题。我们提出了一种称为 AnycostFL 的成本可调 FL 框架，使多样化边缘设备能够在广泛的效率约束下高效地执行本地更新。为此，我们设计了模型收缩以支持具有弹性计算成本的本地模型训练，以及梯度压缩以允许具有动态通信开销的参数传输。以元素级方式执行增强的参数聚合以提高模型性能。针对 AnycostFL，我们进一步提出了一种优化设计，以在个性化延迟和能量约束下最小化全局训练损失。通过揭示收敛分析的理论见解，推导出针对不同设备的个性化训练策略以匹配其本地可用资源。实验结果表明，与最先进的高效 FL 算法相比，我们的学习框架在实现合理的全局测试精度时，可将训练延迟和能耗降低至多 1.9 倍。此外，结果还表明，我们的方法显著提高了收敛后的全局精度。
引用
@article{arxiv.2301.03062,
title = {AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous Edge Devices},
author = {Peichun Li and Guoliang Cheng and Xumin Huang and Jiawen Kang and Rong Yu and Yuan Wu and Miao Pan},
journal= {arXiv preprint arXiv:2301.03062},
year = {2023}
}
备注
Accepted to IEEE INFOCOM 2023