用于联邦学习的弹性约束元学习器

联邦学习是一种为禁止数据共享的多个参与方协作训练机器学习模型的方法。联邦学习中的挑战之一是客户端之间的非独立同分布（non-IID）数据，因为单一模型无法拟合所有客户端的数据分布。元学习（如 Per-FedAvg）被引入以应对该挑战。元学习为所有客户端学习共享的初始参数。每个客户端采用梯度下降将初始化快速适应到本地数据分布，以实现模型个性化。然而，由于非凸损失函数和采样更新的随机性，元学习方法在同一客户端的本地适应中具有不稳定的目标。这种不同适应方向上的波动阻碍了元学习中的收敛。为克服该挑战，我们利用历史本地适应模型来限制内循环的方向，并提出一种弹性约束方法。因此，当前轮次的内循环保持历史目标并适应到更好的解。实验表明，我们的方法在不增加额外计算和通信的情况下促进了元学习收敛并改善了个性化。我们的方法在三个公开数据集的所有指标上均达到了 SOTA。