一种基于最优传输的个性化联邦学习方法
机器学习
2022-06-27 v1 人工智能
机器学习
摘要
联邦学习是一种分布式机器学习范式，旨在使用许多分布式客户端的本地数据来训练模型。联邦学习中的一个关键挑战是跨客户端的数据样本可能并非同分布。为应对这一挑战，提出了个性化联邦学习，其目标是使学习到的模型适应每个单独客户端的数据分布。在本文中，我们关注该问题并提出一种新颖的基于最优传输的个性化联邦学习方案（FedOT），作为一种学习算法，它学习最优传输映射以将数据点传输到公共分布，以及在该传输映射下的预测模型。为表述 FedOT 问题，我们将两个概率分布之间的标准最优传输任务推广到多边际最优传输问题，目标是将来自多个分布的样本传输到一个公共概率域。然后我们利用多边际最优传输问题的结果将 FedOT 表述为一个极小极大优化问题，并分析其泛化与优化性质。我们讨论了若干数值实验的结果，以在非独立同分布数据下的联邦学习问题中评估 FedOT 的性能。
引用
@article{arxiv.2206.02468,
title = {An Optimal Transport Approach to Personalized Federated Learning},
author = {Farzan Farnia and Amirhossein Reisizadeh and Ramtin Pedarsani and Ali Jadbabaie},
journal= {arXiv preprint arXiv:2206.02468},
year = {2022}
}