EchoPFL：移动设备上具有按需延迟控制的异步个性化联邦学习
分布式、并行与集群计算
2024-01-30 v1
摘要
拥有丰富传感数据和本地计算能力的移动设备的兴起，推动了这些设备上联邦学习（FL）的趋势。个性化联邦学习（PFL）应运而生，为每台移动设备训练特定的深度模型，以解决数据异构性和不同的性能偏好问题。然而，移动设备的训练时间差异很大，导致要么出现延迟（当聚合时等待较慢的设备），要么出现精度下降（当不等待直接进行聚合时）。作为回应，我们提出向异步 PFL 转变，即服务器一旦有可用的更新就立即进行聚合。然而，现有的异步协议不适用于 PFL，因为它们是为单一全局模型的联邦训练而设计的。当面对 PFL 中普遍存在的严重数据异构性时，它们会出现收敛缓慢和精度下降的问题。此外，它们通常为了控制延迟而排除较慢的设备，当这些设备拥有关键的个性化数据时，这会显著损害精度。因此，我们提出了 EchoPFL，一种用于异步 PFL 的协调机制。EchoPFL 的核心是包含来自所有移动设备的更新，而不论其延迟如何。为了应对来自慢速设备的不可避免的延迟，EchoPFL 重新审视了模型广播。它利用无线网络中的非对称带宽和基于动态聚类的 PFL，智能地将不可扩展的广播转换为按需广播。实验表明，与现有方法相比，EchoPFL 的收敛时间减少了高达 88.2%，精度提高了高达 46%，通信成本降低了 37%。
引用
@article{arxiv.2401.15960,
title = {EchoPFL: Asynchronous Personalized Federated Learning on Mobile Devices with On-Demand Staleness Control},
author = {Xiaochen Li and Sicong Liu and Zimu Zhou and Bin Guo and Yuan Xu and Zhiwen Yu},
journal= {arXiv preprint arXiv:2401.15960},
year = {2024}
}
备注
accepted by Ubicomp2024