DynamicFL：平衡通信动态与客户端操控的联邦学习
分布式、并行与集群计算
2023-08-15 v1 机器学习
摘要
联邦学习（FL）是一种分布式机器学习（ML）范式，旨在利用数百万边缘设备上的去中心化数据训练全局模型。与集中式学习相比，FL通过避免显式下载客户端数据来保护其隐私。然而，鉴于地理分布的边缘设备（如手机、汽车、火车或地铁）在真实环境中具有高度动态的网络，聚合来自这些参与设备的所有模型更新将导致FL中不可避免的长尾延迟。这将显著降低训练过程效率。为解决时延敏感FL场景中的高系统异构性，我们提出一种新颖FL框架DynamicFL，通过专门设计的客户端操控策略考量海量边缘设备的通信动态与数据质量。\ours基于动态网络状况的网络预测及其训练数据质量，主动选择客户端进行模型更新。此外，我们在客户端选择中的长期贪婪策略解决了动态网络中短期调度导致的系统性能退化问题。最后，为平衡客户端性能评估与客户端操控粒度之间的权衡，我们动态调整训练过程中观察窗口的长度以优化长期系统效率。与FL中SOTA客户端选择方案相比，\ours在仅消耗18.9% -- 84.0%挂钟时间的同时可实现更优的模型精度。我们的分量与敏感性研究进一步证明了\ours在各种真实场景下的鲁棒性。
引用
@article{arxiv.2308.06267,
title = {DynamicFL: Balancing Communication Dynamics and Client Manipulation for Federated Learning},
author = {Bocheng Chen and Nikolay Ivanov and Guangjing Wang and Qiben Yan},
journal= {arXiv preprint arXiv:2308.06267},
year = {2023}
}