利用个性化不变性提升联邦学习中的分布外泛化能力
机器学习
2022-11-22 v1 分布式、并行与集群计算
摘要
近年来，本地客户端训练数据集之间的数据异构性（即 Non-IID 数据）在联邦学习（FL）中引起了广泛关注，许多个性化联邦学习方法被提出以应对该问题。然而，尽管现实场景中普遍存在，FL 中每个客户端训练数据集与测试数据集之间的分布偏移从未被考虑。我们注意到，在 Non-IID 联邦设定下，分布偏移（即分布外泛化）问题由于个性化信息与伪信息相互纠缠而变得相当具有挑战性。为解决上述问题，我们精心设计了一个通用的双正则化学习框架来探索个性化不变性，而现有的个性化联邦学习方法仅由单一基线（通常为全局模型）正则化。利用个性化不变特征，所开发的个性化模型能够高效挖掘最相关信息，同时消除伪信息，从而提升每个客户端的分布外泛化性能。关于收敛性与 OOD 泛化性能的理论分析以及大量实验结果均表明，在多种分布外与 Non-IID 数据情形下，我们的方法优于现有的联邦学习与不变学习方法。
引用
@article{arxiv.2211.11243,
title = {Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning},
author = {Xueyang Tang and Song Guo and Jie Zhang},
journal= {arXiv preprint arXiv:2211.11243},
year = {2022}
}