面向个性化联邦学习的低损失子空间连接方法

由于客户端间统计异质性的困扰，采用个性化联邦学习方法已成为成功部署基于联邦学习的服务的必要选择。在各类个性化技术分支中，基于模型混合的个性化方法更受青睐，因为联邦学习后每个客户端都拥有其自身的个性化模型。该方法通常需要一个本地模型与一个联邦模型，但此类方法要么局限于部分参数交换，要么需要额外的本地更新，二者均对新客户端无益且加重客户端计算负担。鉴于已在两个或多个独立深度网络间发现包含多样低损失解的连通子空间，我们将这一有趣性质与基于模型混合的个性化联邦学习方法相结合以提升个性化性能。我们提出 SuPerFed，一种个性化联邦学习方法，其在权重空间中显式连接本地模型与联邦模型的最优解以相互促进。通过在多个基准数据集上的大量实验，我们证明了该方法在个性化性能及对实际服务中可能出现的问题场景的鲁棒性上均取得一致提升。