PAGE：在联邦学习中平衡个性化与泛化
机器学习
2023-10-16 v1
摘要
联邦学习（FL）正成为机器学习即服务的主要驱动力，其中客户（客户端）在服务提供商（服务器）的协调下通过共享本地更新协同受益。代表客户端当前需求与服务器未来需求的本地模型个性化和全局模型泛化被分别研究，因为数据异质性的不良影响迫使学界聚焦于其中之一而非兼顾两者。然而，这两个看似竞争的目标同等重要而非非黑即白的问题，应当同时实现。本文提出首个基于博弈论平衡个性化与泛化的算法，称为 PAGE，其将联邦学习重塑为客户端与服务器之间的合作竞争博弈。为探索均衡，PAGE 进一步将该博弈建模为马尔可夫决策过程，并利用强化学习算法，从而简化求解复杂度。在四个广泛使用的数据集上的大量实验表明，PAGE 在全局与本地预测准确率上同时优于最先进的联邦学习基线，准确率分别最高提升 35.20% 与 39.91%。此外，PAGE 的偏置变体展现出对实际中需求偏移的良好适应性。
引用
@article{arxiv.2310.08961,
title = {PAGE: Equilibrate Personalization and Generalization in Federated Learning},
author = {Qian Chen and Zilong Wang and Jiaqi Hu and Haonan Yan and Jianying Zhou and Xiaodong Lin},
journal= {arXiv preprint arXiv:2310.08961},
year = {2023}
}