通过催化剂加速提升去中心化联邦学习的性能
机器学习
2024-10-11 v1
摘要
去中心化联邦学习因其更快的训练速度、隐私保护和更低的通信开销，已成为集中式架构的替代方案。在去中心化通信中，集中式联邦学习中的服务器聚合阶段转移到客户端，这意味着客户端以点对点的方式相互连接。然而，与集中式模式相比，去中心化联邦学习中的数据异质性会导致聚合模型之间存在更大的差异，这导致训练收敛缓慢和测试泛化性能不佳。为了解决这些问题，我们引入了催化剂加速，并提出了一种加速的去中心化联邦学习算法，称为DFedCata。它包含两个主要组成部分：Moreau包络函数，主要解决由数据异质性引起的客户端间参数不一致问题；以及Nesterov加速步骤，用于加速聚合阶段。在理论上，我们证明了该算法的优化误差界和泛化误差界，进一步理解了算法的本质以及超参数选择的理论视角。在实验上，我们在CIFAR10/100上展示了该算法在收敛速度和泛化性能方面的优势，涵盖了不同的非独立同分布数据分布。此外，我们还通过实验验证了DFedCata的理论性质。
引用
@article{arxiv.2410.07272,
title = {Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration},
author = {Qinglun Li and Miao Zhang and Yingqi Liu and Quanjun Yin and Li Shen and Xiaochun Cao},
journal= {arXiv preprint arXiv:2410.07272},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2410.06482