基于 Moreau 包络的个性化联邦学习
机器学习
2022-01-27 v3 分布式、并行与集群计算
机器学习
摘要
联邦学习(federated learning, FL)是一种去中心化且保护隐私的机器学习技术，其中一组客户端与服务器协作，在不共享客户端数据的情况下学习全局模型。FL 面临的一个挑战是客户端间的统计异质性，这限制了全局模型在每个客户端任务上取得良好表现。为此，我们提出了一种用于个性化联邦学习(personalized FL, pFedMe)的算法，使用 Moreau 包络作为客户端的正则化损失函数，其以专为个性化 FL 设计的双层问题形式，将个性化模型优化与全局模型学习解耦。理论上，我们证明了 pFedMe 的收敛速率达到最优(state-of-the-art)：对强凸目标实现二次加速，对光滑非凸目标实现 2/3 阶的次线性加速。在实验上，我们验证了 pFedMe 相较于 vanilla FedAvg 与基于元学习的个性化 FL 算法 Per-FedAvg 具有更优的经验性能。
引用
@article{arxiv.2006.08848,
title = {Personalized Federated Learning with Moreau Envelopes},
author = {Canh T. Dinh and Nguyen H. Tran and Tuan Dung Nguyen},
journal= {arXiv preprint arXiv:2006.08848},
year = {2022}
}