PersA-FL：个性化异步联邦学习
机器学习
2023-10-05 v2 人工智能
分布式、并行与集群计算
最优化与控制
机器学习
摘要
我们研究异步更新下的个性化联邦学习问题。在该问题中，每个客户端旨在获得一个同时优于本地模型和全局模型的个性化模型。我们考虑两种基于优化的个性化框架：(i) 模型无关元学习（MAML）和 (ii) Moreau 包络（ME）。MAML 通过学习一个经微调适配各客户端的联合模型，而 ME 需要一个具有隐式梯度的双层优化问题，通过正则化损失强制个性化。我们致力于通过去除同步通信假设来提升个性化联邦学习的可扩展性。此外，我们去掉了梯度范数的有界性假设，从而扩展了所研究的函数类。我们的主要技术贡献是针对有界陈旧度的异步联邦学习的一个统一证明，并将其应用于 MAML 和 ME 个性化框架。对于光滑非凸函数类，我们展示了方法收敛到一阶驻点。我们通过异构数据集上的分类任务实验说明了方法的性能及其对陈旧度的容忍性。
引用
@article{arxiv.2210.01176,
title = {PersA-FL: Personalized Asynchronous Federated Learning},
author = {Mohammad Taha Toghani and Soomin Lee and César A. Uribe},
journal= {arXiv preprint arXiv:2210.01176},
year = {2023}
}