通过部分消息交换的去中心化联邦学习
机器学习
2026-03-03 v1
摘要
去中心化联邦学习（DFL）已成为一种无服务器的变革性范式，使大规模异构网络能够实现协作学习。然而，它仍面临着数据异构性、限制性理论分析假设以及在应用标准通信或隐私增强技术时收敛性能下降等根本性挑战。为克服这些缺点，本文发展出一种新型算法，PaME（DFL by Partial Message Exchange）。核心原则是仅允许两个相邻节点之间交换随机选取的稀疏坐标。因此，PaME在显著降低通信成本的同时，仍能保持较高的隐私水平，而不牺牲准确性。此外，基于严格的分析，证明了该算法在梯度局部 Lipschitz 连续且通信矩阵为双随机数的情况下以线性收敛率收敛。这两种温和假设不仅摆脱了现有DFL方法常见的许多限制性条件，还使PaME能够有效应对数据异构性。进一步的全面数值实验表明，其性能优于几类代表性去中心化学习算法。
引用
@article{arxiv.2603.01730,
title = {Decentralized Federated Learning by Partial Message Exchange},
author = {Shan Sha and Shenglong Zhou and Xin Wang and Lingchen Kong and Geoffrey Ye Li},
journal= {arXiv preprint arXiv:2603.01730},
year = {2026}
}