DACFL：去中心化拓扑中基于动态平均一致的联邦学习
机器学习
2023-12-13 v1
摘要
联邦学习（FL）是一种新兴的分布式机器学习框架，其中中央参数服务器（PS）协调许多本地用户训练全局一致的模型。传统联邦学习不可避免地依赖带有 PS 的集中式拓扑。因此，一旦 PS 失效，系统便会瘫痪。为缓解此类单点故障（尤其在 PS 上），一些现有工作已提供去中心化 FL（DFL）实现，如 CDSGD 和 D-PSGD，以在去中心化拓扑中促进 FL。然而，这些方法仍存在一些问题，例如 CDSGD 中用户最终模型间的显著分歧，以及 D-PSGD 中全网模型平均的必要性。为解决这些缺陷，本文设计了一种新的 DFL 实现，称为 DACFL，其中每个用户使用自身训练数据训练模型，并通过对称双随机矩阵与邻居交换中间模型。DACFL 将每个用户本地训练的进程视为离散时间过程，并采用一阶动态平均一致（FODAC）方法在缺乏 PS 的情况下跟踪平均模型。本文还在 i.i.d 数据前提下提供了 DACFL 的理论收敛性分析以加强其合理性。在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实验结果验证了我们的解决方案在时不变和时变网络拓扑中的可行性，并表明 DACFL 在大多数情况下优于 D-PSGD 和 CDSGD。
引用
@article{arxiv.2111.05505,
title = {DACFL: Dynamic Average Consensus Based Federated Learning in Decentralized Topology},
author = {Zhikun Chen and Daofeng Li and Jinkang Zhu and Sihai Zhang},
journal= {arXiv preprint arXiv:2111.05505},
year = {2023}
}