基于连接模式的联邦学习

联邦学习中的统计异质性带来了两大挑战：由于梯度信号冲突导致的全局训练缓慢，以及针对局部分布进行个性化的需求。在这项工作中，我们通过利用\emph{线性模式连通性}的最新进展来应对这两大挑战——即在神经网络的参数空间中识别出一个线性连接的低损失区域，我们称之为解单纯形（solution simplex）。我们提出了基于连接模式的联邦学习（\textsc{Floco}），其中客户端根据其梯度信号被分配到此单纯形中的局部子区域，并共同学习共享的全局解单纯形。这使得客户端模型能够在解单纯形的自由度范围内适应其局部分布以实现个性化，并均质化了全局单纯形训练的更新信号。我们的实验表明，\textsc{Floco}加速了全局训练过程，并在跨孤岛联邦学习设置中以最小的计算开销显著提高了局部准确性。