AEDFL: 面向异构设备的高效异步去中心化联邦学习
分布式、并行与集群计算
2023-12-19 v1 人工智能
机器学习
摘要
联邦学习（FL）近期取得了显著成就，能够在边缘设备上的分布式数据中进行协作模型训练。标准 FL 范式中设备与中心服务器之间迭代式的梯度或模型交换，在服务器端存在严重的效率瓶颈。现有的去中心化 FL 方法虽然无需中心服务器即可实现协作训练，但要么专注于会恶化 FL 收敛的同步机制，要么在异步机制中忽略了设备陈旧性，导致 FL 准确率下降。在本文中，我们提出了一个异步高效去中心化 FL 框架，即 AEDFL，适用于异构环境，并具有三项独特贡献。首先，我们提出了一种异步 FL 系统模型及高效的模型聚合方法，以改善 FL 收敛。其次，我们提出了一种动态感知陈旧性的模型更新方法，以实现卓越的准确率。第三，我们提出了一种自适应稀疏训练方法，在不显著降低准确率的情况下减少了通信和计算成本。在四个公开数据集和四个模型上的大量实验证明了 AEDFL 在准确率（高达 16.3% 的提升）、效率（高达 92.9% 的加速）和计算成本（高达 42.3% 的降低）方面的优势。
引用
@article{arxiv.2312.10935,
title = {AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices},
author = {Ji Liu and Tianshi Che and Yang Zhou and Ruoming Jin and Huaiyu Dai and Dejing Dou and Patrick Valduriez},
journal= {arXiv preprint arXiv:2312.10935},
year = {2023}
}
备注
To appear in SDM 2024, 15 pages