PRIOR：用于重新激活联邦学习中已被忽略信息的个性化先验
机器学习
2023-11-13 v2 人工智能
分布式、并行与集群计算
摘要
经典的联邦学习（FL）能够在不共享数据的情况下训练机器学习模型以保护隐私，但异构数据特性会降低本地化模型的性能。个性化联邦学习（PFL）通过在本地数据上训练从全局模型合成个性化模型来解决此问题。这样的全局模型可能忽略已被采样的客户端所特有的信息。本文中，我们提出一种新方案，在每个客户端向全局模型注入个性化先验知识，试图缓解PFL中引入的不完整信息问题。我们所提方法的核心是一个框架，即带Bregman散度的PFL（pFedBreD），将个性化先验从由Bregman散度正则化的局部目标函数中解耦，以在个性化场景中获得更强的适应性。我们还放宽了镜像下降（RMD）以显式提取先验，提供可选策略。此外，我们的pFedBreD有收敛性分析作为支撑。充分的实验表明，我们的方法在5个数据集上达到了最先进（SOTA）性能，并在8个基准上比其他方法高出至多3.5%。广泛的分析验证了所提设计的鲁棒性与必要性。
引用
@article{arxiv.2310.09183,
title = {PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning},
author = {Mingjia Shi and Yuhao Zhou and Kai Wang and Huaizheng Zhang and Shudong Huang and Qing Ye and Jiangcheng Lv},
journal= {arXiv preprint arXiv:2310.09183},
year = {2023}
}
备注
Accepted by NeurIPS 2023