TimelyFL：基于异构感知与自适应部分训练的异步联邦学习
机器学习
2023-04-17 v1 分布式、并行与集群计算
摘要
在跨设备联邦学习（FL）环境中，扩展同步 FL 方法具有挑战性，因为掉队者会阻碍训练过程。此外，由于系统异构性和间歇性连接，每个客户端参与训练的可用性随时间高度变化。近期提出的异步 FL 方法（如 FedBuff）通过允许较慢用户基于陈旧模型继续本地训练并在就绪时参与聚合，来克服这些问题。然而，我们通过实验表明，该方法会导致训练精度显著下降以及收敛速度变慢。其主要原因是高速设备参与了更多轮次的聚合，而其他设备更间歇性地参与或根本不参与，且带有陈旧的模型更新。为克服这一障碍，我们提出 TimelyFL，一种具有自适应部分训练的异构感知异步 FL 框架。在训练过程中，TimelyFL 根据每个客户端的实时资源能力调整本地训练工作量，旨在让更多可用客户端无陈旧性地加入全局更新。我们通过在多个数据集（如 CIFAR-10、Google Speech 和 Reddit）和模型（如 ResNet20、VGG11 和 ALBERT）上进行大量实验，展示了 TimelyFL 的性能优势。与最先进方法（即 FedBuff）相比，我们的评估显示 TimelyFL 将参与率提高了 21.13%，在收敛速度上获得了 1.28 倍至 2.89 倍的更高效率，并将测试精度提升了 6.25%。
引用
@article{arxiv.2304.06947,
title = {TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with Adaptive Partial Training},
author = {Tuo Zhang and Lei Gao and Sunwoo Lee and Mi Zhang and Salman Avestimehr},
journal= {arXiv preprint arXiv:2304.06947},
year = {2023}
}