具有上下文泛化的个性化联邦学习
机器学习
2022-05-03 v2 分布式、并行与集群计算
摘要
流行的个性化联邦学习（PFL）通常通过维护一个共享的全局模型来指导局部模型的训练过程，从而在个性化与泛化之间寻求权衡。然而，当局部数据集之间存在多个潜在上下文时，单一的全局模型可能容易将偏离的上下文知识迁移到某些局部模型。本文提出一种称为上下文泛化（CG）的新概念，为每个客户端提供能更好拟合局部数据分布并加速模型收敛的细粒度上下文知识，并基于此恰当设计了一个名为 CGPFL 的 PFL 框架。我们进行了详细的理论分析，给出了收敛性保证，并获得了相对于大多数现有方法 的加速。为定量研究泛化-个性化权衡，我们引入“泛化误差”度量，并证明所提 CGPFL 能比现有方案实现更好的权衡。此外，我们的理论分析进一步启发了一种启发式算法，以在 CGPFL 中找到近最优权衡。在多个真实世界数据集上的实验结果表明，我们的方法在测试准确率上显著超越 SOTA 方法。
引用
@article{arxiv.2106.13044,
title = {Personalized Federated Learning with Contextualized Generalization},
author = {Xueyang Tang and Song Guo and Jingcai Guo},
journal= {arXiv preprint arXiv:2106.13044},
year = {2022}
}
备注
Accepted by IJCAI 2022 (Main Track)