提升去中心化联邦学习的模型一致性

为缓解联邦学习（FL）的隐私泄露与通信负担，去中心化FL（DFL）摒弃中心服务器，各客户端仅在去中心化通信网络中与邻居通信。然而，现有DFL存在本地客户端间高度不一致的问题，导致相较于中心化FL（CFL）出现严重分布偏移与性能下降，尤其在异构数据或稀疏通信拓扑下。为缓解此问题，我们提出两种DFL算法DFedSAM与DFedSAM-MGS以提升DFL性能。具体而言，DFedSAM利用梯度扰动通过锐度感知最小化（SAM）生成局部平坦模型，搜寻具有均匀低损失值的模型。DFedSAM-MGS进一步采用多 gossip 步（MGS）提升DFedSAM以获得更好模型一致性，加速局部平坦模型聚合并更好平衡通信复杂度与泛化。理论上，我们给出非凸设定下DFedSAM与DFedSAM-MGS的改进收敛速率$\small \mathcal{O}\big(\frac{1}{\sqrt{KT}}+\frac{1}{T}+\frac{1}{K^{1/2}T^{3/2}(1-\lambda)^2}\big)$与$\small \mathcal{O}\big(\frac{1}{\sqrt{KT}}+\frac{1}{T}+\frac{\lambda^Q+1}{K^{1/2}T^{3/2}(1-\lambda^Q)^2}\big)$，其中$1-\lambda$为gossip矩阵谱隙，$Q$为MGS步数。实验上，我们的方法相较CFL方法具竞争力，且优于现有DFL方法。