部分个性化联邦学习：打破数据异构性的诅咒
机器学习
2023-05-30 v1 人工智能
最优化与控制
机器学习
摘要
我们提出了一种联邦学习（FL）的部分个性化表述，在个性化的灵活性与全局训练的协作性之间取得平衡。在我们的框架中，我们将变量拆分为在所有客户端间共享的全局参数，以及保持私有的个体本地参数。我们证明，在正确的参数拆分下，有可能找到使每个客户端都能完美拟合其数据的全局参数，并将所得问题称为过度个性化。例如，共享的全局参数可用于学习良好的数据表示，而个性化层则针对特定客户端进行微调。此外，我们提出了一种用于部分个性化表述的简单算法，为所有客户端带来显著收益。特别地，它在若干场景下打破了数据异构性的诅咒，例如使用本地步长的训练、异步训练以及拜占庭鲁棒训练。
引用
@article{arxiv.2305.18285,
title = {Partially Personalized Federated Learning: Breaking the Curse of Data Heterogeneity},
author = {Konstantin Mishchenko and Rustem Islamov and Eduard Gorbunov and Samuel Horváth},
journal= {arXiv preprint arXiv:2305.18285},
year = {2023}
}