DFedADMM：双约束控制的模型不一致性用于去中心化联邦学习

为解决联邦学习(FL)的通信负担问题，去中心化联邦学习(DFL)摒弃中心服务器并建立去中心化通信网络，其中每个客户端仅与邻域客户端通信。然而，现有 DFL 方法仍面临两大挑战：局部不一致性与局部异构过拟合，现有 DFL 方法尚未从根本上解决。为应对这些问题，我们提出新颖的 DFL 算法 DFedADMM 及其增强版 DFedADMM-SAM，以提升 DFL 性能。DFedADMM 算法利用对偶变量通过原对偶优化(ADMM)控制由去中心化异构数据分布引发的模型不一致性。DFedADMM-SAM 算法进一步在 DFedADMM 基础上采用锐度感知最小化(SAM)优化器，利用梯度扰动生成局部平坦模型并搜索具有均匀低损失值的模型，以缓解局部异构过拟合。理论上，我们在非凸设定下推导出 DFedADMM 与 DFedADMM-SAM 的收敛速率分别为 $\small \mathcal{O}\Big(\frac{1}{\sqrt{KT}}+\frac{1}{KT(1-\psi)^2}\Big)$ 与 $\small \mathcal{O}\Big(\frac{1}{\sqrt{KT}}+\frac{1}{KT(1-\psi)^2}+ \frac{1}{T^{3/2}K^{1/2}}\Big)$，其中 $1 - \psi$ 表示 gossip 矩阵的光谱间隙。实证上，在 MNIST、CIFAR10 与 CIFAR100 数据集上的大量实验表明，相较 DFL 中现有 SOTA 优化器，我们的算法在泛化性与收敛速度上均展现出更优性能。