非对称去中心化联邦学习
机器学习
2023-10-10 v1 最优化与控制
摘要
为解决联邦学习(FL)中集中式服务器带来的通信负担与隐私问题，去中心化联邦学习(DFL)应运而生，其以点对点(P2P)通信框架取代服务器。然而，现有DFL算法多基于对称拓扑(如环形与网格拓扑)，易引发死锁，且在实际中易受网络链路质量影响。针对这些问题，本文提出DFedSGPSM算法，该算法基于非对称拓扑并利用Push-Sum协议有效求解共识优化问题。为进一步提升算法性能并缓解联邦学习(FL)中的局部异构过拟合，我们的算法结合了锐度感知最小化(SAM)优化器与局部动量。SAM优化器通过梯度扰动生成局部平坦模型，并寻找具有均匀低损失值的模型，从而缓解局部异构过拟合。局部动量加速了SAM优化器的优化过程。理论分析证明，在温和假设下，DFedSGPSM在非凸光滑设定中达到 的收敛速率。该分析还揭示，更好的拓扑连通性可获得更紧的上界。在经验上，我们在MNIST、CIFAR10与CIFAR100数据集上进行了大量实验，证明了我们的算法相比最先进优化器具有优越性能。
引用
@article{arxiv.2310.05093,
title = {Asymmetrically Decentralized Federated Learning},
author = {Qinglun Li and Miao Zhang and Nan Yin and Quanjun Yin and Li Shen},
journal= {arXiv preprint arXiv:2310.05093},
year = {2023}
}