用于个性化联邦学习的参数化知识迁移
机器学习
2021-11-05 v1 分布式、并行与集群计算
摘要
近年来，个性化联邦学习（pFL）因其在处理客户端间统计异质性方面的潜力而受到越来越多的关注。然而，当前最先进的 pFL 方法依赖于服务器端的模型参数聚合，这要求所有模型具有相同的结构和大小，从而限制了其在更多异构场景中的应用。为了应对这种模型约束，我们利用了异构模型设置的潜力，并提出了一种新颖的训练框架，为不同客户端采用个性化模型。具体而言，我们将原始 pFL 中的聚合过程公式化为一种个性化群体知识迁移训练算法，即 KT-pFL，该算法使每个客户端能够在服务器端维护个性化软预测，以指导其他客户端的本地训练。KT-pFL 使用知识系数矩阵对所有本地软预测进行线性组合来更新每个客户端的个性化软预测，该矩阵能够自适应地增强具有相似数据分布的客户端之间的协作。此外，为了量化每个客户端对其他客户端个性化训练的贡献，将知识系数矩阵参数化，使其能够与模型同时训练。在每一轮中，知识系数矩阵和模型参数按照梯度下降方式交替更新。在不同设置（异构模型和数据分布）下对多种数据集（EMNIST、Fashion\_MNIST、CIFAR-10）进行了大量实验。结果表明，所提出的框架是首个通过参数化群体知识迁移实现个性化模型训练的联邦学习范式，且与最先进的算法相比获得了显著的性能提升。
引用
@article{arxiv.2111.02862,
title = {Parameterized Knowledge Transfer for Personalized Federated Learning},
author = {Jie Zhang and Song Guo and Xiaosong Ma and Haozhao Wang and Wencao Xu and Feijie Wu},
journal= {arXiv preprint arXiv:2111.02862},
year = {2021}
}