个性化联邦学习:统一框架与通用优化技术
机器学习
2023-05-30 v4
摘要
我们研究个性化联邦学习(FL)的优化问题。我们提出可应用于众多现有个性化FL目标的通用优化器,具体为局部SGD的定制变体以及加速坐标下降/加速SVRCD的变体。通过考察一个能够恢复许多现有个性化FL目标作为特例的通用个性化目标,我们建立了适用于文献中广泛一类强凸个性化FL模型的综合优化理论。我们在通信与本地计算方面展示了所提方法的实用性和/或最优性。值得注意的是,我们的通用优化求解器与理论可恢复针对特定个性化FL目标的最佳已知通信与计算保证。因此,我们提出的方法可作为通用优化器,在许多情况下使得设计任务专用优化器变得不必要。
引用
@article{arxiv.2102.09743,
title = {Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques},
author = {Filip Hanzely and Boxin Zhao and Mladen Kolar},
journal= {arXiv preprint arXiv:2102.09743},
year = {2023}
}